První písemná zmínka pochází z roku 1361, kdy byl majitelem vsi Vaněk z Vartemberka. V roce 1402 koupili tolštejnské panství i s Krásnou Lípou Berkové z Dubé. V roce 1463 se stali opět majiteli Vartemberkové a v roce 1471 míšeňští vévodové Arnošt a Albrecht. V roce 1481 panství koupili Šlejnicové a v roce 1573 potřetí Vartemberkové. V roce 1614 získali Krásnou Lípu páni z Vchynic a Tetova, od roku 1619 psáni jako Kinští, a vlastnili ji až do zrušení vrchnostenské správy v roce 1848.