Žumberk Ves byla založena v polovině 13. stol. a mezi jejími majiteli byli kromě drobných šlechtických rodů také Rožmberkové a opati vyšebrodského kláštera. Koncem 15. stol. byla vybudována pozdně gotická tvrz, která byla na přelomu 16. a 17. stol. přestavěna do podoby renesančního zámečku. Poté také nechal Theobald Hock obehnat tvrz i s historickým jádrem vesnice hradební zdí se šesti baštami. Od roku 1618 zde již šlechta nesídlila a tvrz začala chátrat.