První písemná zmínka pochází z roku 1318. K roku 1377 jsou známi jako majitelé Černčičtí z Kácova. V roce 1473 patřila místní tvrz pánům z Olbramovic, v roce 1536 se majitelem panství stal Jan Tetour z Tetova, v roce 1555 však opět páni z Olbramovic. Po pobělohorské konfiskaci Kácov krátce patřil Janu Werdemu z Werdenberku, Janu Oktaviánovi Kinskému a Janu de Witte z Lilienthalu. Dále panství vlastnili od roku 1635 Lobkovicové, od roku 1711 Karel Jáchym Breda a od roku 1726 Anna Marie Františka, arcivévodkyně toskánská. Dalšími majiteli byli ještě například Napoleon II. nebo králové z rodu Habsburků Ferdinand V., František Josef I. a Karel I.