ÚpiceMěsto vzniklo patrně v 11. století, v roce 1279 vybudoval Tas z Vízmburka nedaleko hrad Vízmburk. V roce 1330 se majiteli stali páni z Dubé. V roce 1447 byl hrad vykoupen Slezany a pobořen, panství se spojilo s panstvím náchodským. Dalšími majiteli byli Špetlové z Janovic a Pernštejnové, od roku 1544 pak Smiřičtí. Jako pobělohorskou konfiskaci obdrželi majetek Trčkové z Lípy a v roce 1634 Piccolominiové. V roce 1783 získali panství Desfoursové a v roce 1792 Petr Biron, vévoda Kuronský a Zaháňský. Posledními majiteli byli v letech 1842–1945 knížata Schaumburg–Lippe.