História pútnického miesta siaha do 11. storočia a spája sa so životom sv. pustovníkov Andreja-Svorada a Beňadika, ktorí na tomto svätom mieste nejaký čas žili. Pozostáva z Diecéznej svätyne sv. Andreja-Svorada a Beňadika na tzv. Malej Skalke a z tzv. Veľkej Skalky – pozostatkov benediktínskeho opátstva. Svorad, pôvodom Poliak, prišiel na Slovensko okolo roku 1020 a v benediktínskom kláštore svätého Hipolyta na Zobore prijal rehoľné meno Andrej. Zomrel okolo roku 1030. Jeho učeníka, mnícha Beňadika, tri roky po Svoradovej smrti prepadli zbojníci, zviazali ho a hodili do rieky Váh. V roku 1083 za pápeža sv. Gregora VII. boli oba kanonizovaní. Skalka sa postupne stala pútnickým miestom a v roku 1224 tu bolo založené benediktínske opátstvo. V rokoch 1644-1773 tu pôsobili jezuiti, potom toto miesto postupne pustlo. V 18. storočí bol kláštor a kostol zničený. Nový kostol bol na Malej Skalke postavený v roku 1853.
