Hrad nechal postavit moravský markrabě a první písemná zmínka o něm pochází z roku 1260. Panství měli až do roku 1276 v zástavě páni ze Švábenic. Od roku 1330 byli na dvacet let zástavními pány Úsova Šternberkové a od roku 1408 pak páni z Vlašimi. V roce 1513 získal panství do dědičného držení Ladislav z Boskovic. Po vymření tohoto rodu po meči v roce 1597 se majiteli Úsova stali Lichtenštejnové a vlastnili jej až do roku 1945.