Aproximadamente entre los siglos XII y XIII, los primeros colonos alemanes construyeron una capilla en este lugar. A mediados del siglo XV, la capilla se convirtió en el presbiterio de una iglesia de estilo gótico. Desde 1529 hasta 1673, la iglesia y la parroquia estuvieron administradas por pastores protestantes. Durante este periodo se añadieron una torre y una galería de dos niveles, que aumentó la capacidad de la iglesia, ya que atendía a los fieles de varias localidades cercanas. En 1714 se construyó el altar mayor en estilo rococó. El retablo, de 250 × 135 cm, representa el encuentro del joven Jesús con Juan el Bautista. El 27 de julio de 1764, el rey y futuro emperador José II visitó esta iglesia junto con su hermano Leopoldo. Una leyenda está vinculada al origen de la iglesia. Según esta, sus habitantes comenzaron a construirla en otro lugar, pero todo lo que los albañiles levantaban durante el día aparecía derribado a la mañana siguiente. Una voz misteriosa les aconsejó construir la iglesia en otro sitio. Buscaron entonces un lugar más apropiado hasta que llegaron a un arbusto en llamas, en cuyo interior encontraron a un niño llorando. Construyeron el nuevo templo de modo que el altar quedara exactamente en el lugar donde antes se encontraba el arbusto en llamas. Junto al muro bajo que rodea la iglesia se alza una placa conmemorativa que señala el centro geográfico de Europa y recuerda la adopción de la Declaración de Soberanía de la República Eslovaca.
Cerca de Kremnické Bane se encuentra el centro geográfico de Europa, señalado por un monumento simbólico. Desde hace siglos se debate dónde se encuentra el "verdadero" centro de Europa. Los lugares propuestos se extienden desde Alemania hasta Lituania. Esto se debe a que, según la definición del centro y el método utilizado para calcularlo, existen varias ubicaciones posibles.