Około XII–XIII wieku pierwotni niemieccy osadnicy wznieśli w tym miejscu kaplicę. W połowie XV wieku kaplica została przekształcona w prezbiterium kościoła w stylu gotyckim. Od 1529 do 1673 roku kościół i parafia znajdowały się pod zarządem protestanckich pastorów. W tym okresie dobudowano wieżę oraz dwupoziomowy chór, który zwiększył pojemność kościoła, służącego wiernym z kilku okolicznych miejscowości. W 1714 roku wzniesiono ołtarz główny w stylu rokokowym. Obraz ołtarzowy o wymiarach 250 × 135 cm przedstawia spotkanie młodego Jezusa z Janem Chrzcicielem. 27 lipca 1764 roku kościół odwiedził król i późniejszy cesarz Józef II wraz ze swoim bratem Leopoldem. Z powstaniem kościoła związana jest legenda. Według niej ludzie zaczęli budować go w innym miejscu, lecz wszystko, co murarze wznieśli w ciągu dnia, następnego ranka znajdowali zburzone. Tajemniczy głos poradził im, aby zbudowali kościół gdzie indziej. Szukali więc odpowiedniejszego miejsca, aż dotarli do płonącego krzewu, w którym znaleźli płaczące dziecko. Nową świątynię zbudowali tak, aby ołtarz stanął dokładnie w miejscu, gdzie wcześniej znajdował się płonący krzew. Obok niskiego murku otaczającego kościół stoi tablica pamiątkowa oznaczająca geograficzny środek Europy i upamiętniająca przyjęcie Deklaracji Suwerenności Republiki Słowackiej.
W pobliżu Kremnickich Bani znajduje się geograficzny środek Europy, oznaczony symbolicznym pomnikiem. Od stuleci trwa debata na temat tego, gdzie leży "prawdziwy" środek Europy. Proponowane lokalizacje rozciągają się od Niemiec aż po Litwę. Wynika to z różnych sposobów definiowania środka oraz metod jego obliczania, które wskazują kilka możliwych miejsc.