Kámen První zmínka je z roku 1316, kdy byl majitelem Nimír z Kamene. Hrad byl původně královský a byl dáván v léno různým šlechticům a dvorským úředníkům. V roce 1366 zde založil Jindřich z Ciglheimu zlaté doly. V roce 1450 za vlády Jiřího z Poděbrad na hradě jednali zástupci znesvářených katolíků a kališníků. Majitelé panství se často střídali, na konci 17. stol. ho získali Malovci, kteří hrad přestavěli do zámecké podoby.