Etwa im 12. bis 13. Jahrhundert errichteten die ursprünglichen deutschen Siedler an dieser Stelle eine Kapelle. Mitte des 15. Jahrhunderts wurde die Kapelle zum Presbyterium einer Kirche im gotischen Stil umgebaut. Von 1529 bis 1673 standen die Kirche und die Pfarrei unter der Verwaltung protestantischer Pastoren. In dieser Zeit wurden ein Turm und eine zweigeschossige Empore angebaut, wodurch sich das Fassungsvermögen der Kirche erhöhte, da sie den Gläubigen aus mehreren umliegenden Gemeinden diente. Im Jahr 1714 wurde der Hauptaltar im Rokokostil errichtet. Das 250 × 135 cm große Altarbild zeigt die Begegnung des jungen Jesus mit Johannes dem Täufer. Am 27. Juli 1764 besuchte König und späterer Kaiser Joseph II. gemeinsam mit seinem Bruder Leopold diese Kirche. Mit ihrer Entstehung ist eine Legende verbunden. Demnach begannen die Menschen zunächst an einem anderen Ort mit dem Bau, doch alles, was die Maurer tagsüber errichteten, fanden sie am nächsten Morgen zerstört vor. Eine geheimnisvolle Stimme riet ihnen, die Kirche an einer anderen Stelle zu bauen. Sie suchten nach einem geeigneteren Ort, bis sie zu einem brennenden Busch gelangten, in dem sie ein weinendes Kind fanden. Die neue Kirche wurde so errichtet, dass der Altar genau an der Stelle stand, an der sich zuvor der brennende Busch befunden hatte. Neben der niedrigen Mauer, die die Kirche umgibt, steht eine Gedenktafel. Sie kennzeichnet den geografischen Mittelpunkt Europas und erinnert an die Verabschiedung der Souveränitätserklärung der Slowakischen Republik.
In der Nähe von Kremnické Bane befindet sich der geografische Mittelpunkt Europas, der durch ein symbolisches Denkmal gekennzeichnet ist. Seit Jahrhunderten wird darüber diskutiert, wo der "wahre" Mittelpunkt Europas liegt. Die möglichen Standorte reichen von Deutschland bis nach Litauen. Je nach Definition des Mittelpunkts und verwendeter Berechnungsmethode ergeben sich nämlich mehrere mögliche Orte.