První zmínka o městě je z roku 1320. V letech 1443-1546 za Trčků z Lípy byl rozšířen původní gotický hrad. V roce 1580 povýšil Rudolf II. Vlašim na město. Renesanční přestavba zámku byla provedena za Jana Vostrovce z Kralovic, tomu však byl po bitvě na Bílé hoře zkonfiskován majetek. Zámek dále rozšířil František Vilém z Talmberka a konečnou podobu získal za Karla Josefa Auersperka.