Hrad založil v roce 1290 Bohumil z Budětic jako rodové sídlo pánů z Velhartic a dokončen byl v roce 1310. V roce 1390 přešel sňatkem na Jana z Hradce. Jeho syn Menhart zde ukrýval korunovační klenoty, aby zabránil korunovaci Jiřího z Poděbrad. V 15. stol. drželi panství např. Lvové z Rožmitálu. Po Bílé hoře konfiskovaný majetek získal generál Martin de Hoeff Huerta, který přistavěl pozdně renesanční palác. Posledními majiteli byli Windischgrätzové.