První písemná zmínka o vsi je z roku 1357, kdy tvořila součást tolštejnského panství. Stála zde tvrz, poprvé připomínaná sice až v roce 1425, ale již dříve byli zmiňováni jako manové Velflové z Varnsdorfu. V 15. stol. ves patřila Knoblochům a náležela k manství hradu Honštejna, od roku 1443 pak opět k Tolštejnu. Tvrz zanikla před rokem 1570, kdy si zde Lejnarové z Lejnaru postavili zámek. Od roku 1681 patřilo celé panství Lichtenštejnům. V roce 1868, kdy byl Varnsdorf vesnicí s 10.000 obyvateli, se dočkal povýšení na město.