Hrad nechal pravděpodobně postavit Jindřich z Lichtenburku a první písemná zmínka o něm pochází z roku 1289. V roce 1356 jej koupil od Anežky ze Žleb Karel IV. Hrad byl od té doby neustále v zástavě, posledním zástavním majitelem byl od roku 1629 Jan Trčka z Lípy. Po konfiskaci jeho majetku získal Žleby do dědičného držení Leonard Helfrid z Meggau. I nadále se zde však majitelé střídali, poslední šlechtickou majitelkou byla do roku 1945 Marie z Trauttmansdorffu. Dnešní podobu zámek získal mezi lety 1849–1868 za Karla Vincence Auersperga.