Již ve 13. stol. jsou zde připomínány dvě tvrze, z nichž jednu před rokem 1572 přestavěl Jan Mašťovský z Kolovrat na renesanční sídlo. Po bitvě na Bílé hoře získal Krásný Dvůr jako konfiskát Václav Michna z Vacínova, v roce 1649 jej koupil Heřman Černín z Chudenic. V letech 1720–1725 a pak koncem 18. stol. Černínové zámek významně přestavěli, v 80. letech 18. stol. také vybudovali na ploše 100 ha anglický park.