První písemná zmínka o Rájci pochází z roku 1131, kdy byli majiteli olomoučtí biskupové. V roce 1464 koupili panství od pánů z Milčína Drnovští z Drnovic, rájeckou část pak vyženil v roce 1618 Jan Zdislav z Hejsenštejna. Tomu byl však po Bílé hoře zabaven majetek. V roce 1661 panství získali Roggendorfové a v roce 1763 Salmové, kteří zde vybudovali klasicistní zámek.
První zmínka o Jestřebí pochází z roku 1371, kdy byli majiteli páni z Bořitova. Od roku 1597 bylo Jestřebí jako součást černohorského panství majetkem Lichtenštejnů, od roku 1711 pak Aueršperků. Dalšími majiteli byli od roku 1796 Schulugové, od roku 1830 Geislernové a v letech 1842 – 1848 Türkheimové. V roce 1960 se Rájec a Jestřebí spojily v dvojměstí.
