Na początku XIV stulecia zakonnicy wybudowali tu kaplicę z obrazem Matki Boskiej. Cudowny wizerunek i uzdrawiające właściwości wody ze źródła u podnóża góry ściągały tu setki pątników. Po zwycięstwie reformacji ruch pielgrzymkowy do Polanowa trwał do końca XVI wieku. Z czasem kaplica zawaliła się. Dziś jeszcze znaleźć można kawałeczki gotyckich cegieł, miejsce po fundamentach ukazuje wielkość dawnego kościółka.

W 1996 r. teren Świętej Góry stał się własnością kościoła, a w 1999 r. rozpoczęto budowę franciszkańskiego centrum pielgrzymkowego. Kamień węgielny pod tę budowlę poświęcił w Jan Paweł II. Oznakowano już i postawiono kapliczki na trasie pielgrzymkowej Chełmska Góra (Koszalin)- Święta Góra Polanowska oraz zakończono budowę franciszkańskiej pustelni, której architektura nawiązuje do tradycyjnego niegdyś drewnianego budownictwa z Południowych Kaszub.