První písemná zmínka pochází z roku 1308, kdy templářští rytíři městečko pronajali Vokovi z Kravař. Dalšími majiteli byli např. páni z Cimburka, páni od sv. Jura a z Pezinku, páni z Kunštátu, Šelmberkové nebo Pernštejnové. V roce 1609 panství získal sňatkem s Lukrécií Nekšovou z Landeka Albrecht z Valdštejna. V roce 1653 koupila Vsetín hrabata z Illészházy.