Přibližně ve 12. až 13. století postavili původní němečtí přistěhovalci na tomto místě kapli. V polovině 15. století se kaple stala presbytářem kostela v gotickém slohu. Od roku 1529 do roku 1673 byly kostel a farnost ve správě protestantských pastorů. V tomto období byla přistavěna věž a dvoupodlažní kruchta, která zvýšila kapacitu kostela, protože sloužil věřícím z několika okolních obcí. V roce 1714 byl postaven hlavní oltář v rokokovém slohu. Oltářní obraz o rozměrech 250 × 135 cm zachycuje setkání mladého Ježíše s Janem Křtitelem. Dne 27. července 1764 navštívil kostel král a pozdější císař Josef II. se svým bratrem Leopoldem. Ke vzniku kostela se váže pověst, podle níž jej lidé začali stavět na jiném místě, ale vše, co zedníci během dne postavili, našli ráno zbořené. Tajemný hlas jim poradil, aby kostel postavili jinde. Hledali proto vhodnější místo, dokud nepřišli k hořícímu keři, v němž našli plačící dítě. Nový chrám vybudovali tak, aby oltář stál přesně na místě, kde předtím hořel keř. Vedle nízké zídky obklopující kostel stojí pamětní deska označující geografický střed Evropy a připomínající přijetí Deklarace o svrchovanosti Slovenské republiky.
Nedaleko Kremnických Baní se nachází geografický střed Evropy se symbolickým památníkem. O tom, kde se nachází "ten správný" střed Evropy, se vedou debaty již po staletí. Možná místa sahají od Německa až po Litvu. Záleží totiž na způsobu definování středu i na metodě jeho výpočtu, a proto existuje několik možných lokalit.