Původní hrad Borek byl založen před rokem 1415 rodem Kraa, za husitských válek byl třikrát dobyt. Mezi majiteli panství byli např. páni z Veitmile, po roce 1576 jej koupili Lobkovicové a vládli zde do roku 1594, kdy jim byl Rudolfem II. zkonfiskován majetek. V roce 1605 jej koupil Adam Hrzán z Harasova. Hrzánové zde postavili mezi lety 1655 – 1675 současný zámek, v roce 1707 prodali panství Ondřeji z Lichtenštejna. Dalšími majiteli byli pak Auersperkové, Rottenhannové, Buquoyové, Trautmannsdorfové a rod Hohenlohe – Langenburg.