Mezi lety 1206–1208 byl vybudován v Oseku cisterciácký klášter, kterému majitelé panství – Hrabišici – věnovali rozsáhlé majetky. V letech 1240-1250 postavili také v Novém Oseku hrad Rýzmburk. Zatímco klášter vzkvétal, pánům z Rýzmburka se dařilo již méně a ústup ze slávy byl zakončn jejich vymřením v roce 1528. Za husitských válek vlastnili Rýzmburk míšeňští vévodové a klášter byl v této době několikrát vypleněn. V roce 1459 připadl Rýzmburk opět české koruně a město Osek zůstalo v majetku kláštera.