První písemná zmínka o Budyni pochází z roku 1173. Sídliště pod hradem existovalo už ve 13. stol. a na jeho konci bylo povýšeno na královské město. Král Přemysl Otakar I. přestavěl počátkem 13. stol. původně dřevěný hrad v gotickém slohu. Kdy město obdrželo právo užívat městský znak není známo, ale muselo se tak stát za vlády Zajíců z Hazmburka (1336-1614), protože právě jejich erb tento znak tvoří. Za jejich vlády doznal hrad i celé panství největšího rozvoje, naopak za Šternberků a Ditrichštejnů došlo k jeho úpadku. Posledními šlechtickými majiteli se pak stali Herbersteinové, kteří v letech 1900-1913 provedli zásadní rekonstrukci hradu. V roce 1946 se vodní hrad stal majetkem města Budyně nad Ohří.