Původně gotická tvrz byla vybudována v 1. pol. 13. stol. rodem Buziců. V 15. stol. vlastnil Březnici nejvyšší mincmistr Petr Zmrzlík ze Svojšína, po něm od roku 1506 Malovcové. K proměně tvrze v renesanční zámek došlo po roce 1548 za Jiřího z Lokšan. V roce 1623 získal panství jako pobělohorskou konfiskaci Přibík Jeníšek z Újezda, po vymření rodu Jeníšků v roce 1728 pak Krakovští z Kolowrat. Posledními majiteli byli Pálffyové z Erdödu