První zmínka o vodním hradě pochází z roku 1316. Za Jana Lucemburského to byl hrad královský a byl často dáván do zástavy. V roce 1335 koupil Budyni Zbyněk Zajíc z Valdeka z rodu Hazmburků. Hazmburkové hrad postupně přestavěli v renesanční zámek. V roce 1614 koupil panství Adam ze Sternberga. Poté se majitelé střídali, v roce 1759 byla stržena dvě zchátralá zámecká křídla a věž. Posledními majiteli do roku 1945 byli Herbersteinové.