Hrad založil na počátku 14. století Zdislav z Lemberka z rodu Markvarticů. Jeho synové Heřman a Markvart už používali predikát ze Zvířetic. V roce 1504 koupil panství Václav Sezima z Ústí, ale již v roce 1528 jej Sezimové prodali Vartemberkům. V roce 1610 koupil hrad, přestavěný na renesanční zámek, Jiří Vratislav z Mitrovic a v roce 1616 jej zdědil Jan Vlk z Kvítkova. Po konfiskaci jeho majetku koupil v roce 1623 Zvířetice Albrecht z Valdštejna. V letech 1693 a 1720 zámek vyhořel a byl ponechán svému osudu.