Hrad byl vybudován pravděpodobně v roce 1121, první písemnou zmínkou o městě je doklad z roku 1331, jímž Jan Lucemburský uděluje městečku některá práva. Do konce 16. stol. byl hrad v majetku krále často byl však zastavován, nejdéle Švamberkům. V roce 1596 začal Rudolf II. s rozprodejem panství. V držení se vystřídalo více majitelů, v roce 1675 koupil Přimdu Jan Václav Novohradský z Kolowrat.