První písemná zmínka o trhové osadě je z roku 1298. V roce 1377 již byl Rumburk městem a patřil Berkům z Dubé. Byl součástí tolštejnského panství, jehož se stal po vybudování zámku v roce 1566 centrem. V roce 1481 panství získali Schleinitzové a v roce 1586 Strehlitzové. Mezi lety 1607–1634 zde vládli Kinští. Jeden z pozdějších majitelů Rumburka, kníže Antonín Florián Lichtenštejn, zde nechal podle návrhu stavitele Jana Lukase Hildebrandta postavit kopii loretánské kaple. Stavba byla realizována v letech 1704–1709.