Broumov Město bylo založeno pravděpodobně v roce 1255 břevnovskými benediktiny. V roce 1278 se panství zmocnil kníže Jindřich IV. Vratislavský, v roce 1290 je však vrátil zpět benediktinům. Před rokem 1331 zastavil Jan Lucemburský příjmy z panství rodu Pannewitzů. Za husitských válek se v Broumově ukrývala část konventu břevnovského kláštera. V roce 1472 se stal zástavním majitelem panství kníže Jindřich Münsterberský, v roce 1488 vykoupil opat Pavel zástavu zpět. Broumovské panství s městem Broumovem patřilo klášteru až do roku 1848.