Komorní HrádekPředchůdcem dnešního zámku byl hrad, který níže na skalním ostrohu nad levým břehem řeky Sázavy založili pravděpodobně páni z Dubé kolem roku 1300. Za panování krále Václava IV. se Hrádku zmocnili loupeživí rytíři Jan a Mikuláš Zoulové. Po dobytí hradu královským vojskem byl hrad rozbořen a zničen. V roce 1412 byl již na místě dnešního zámku postaven hrad nový, zvaný Veselé. V roce 1525 panství získali Šelmberkové. V letech 1554-1773 zde vládli Valdštejnové, kteří hrad ještě v 16. století přestavěli na renesanční zámek. Posledními šlechtickými majiteli panství i zámku byla do roku 1945 knížata Khevenhüller-Metsch.