Vers le XIIe ou le XIIIe siècle, les premiers colons allemands édifièrent une chapelle à cet endroit. Au milieu du XVe siècle, celle-ci fut transformée en chœur d’une église de style gothique. De 1529 à 1673, l’église et la paroisse furent administrées par des pasteurs protestants. Durant cette période, une tour et une tribune à deux niveaux furent ajoutées, augmentant la capacité de l’église, qui accueillait les fidèles de plusieurs villages environnants. En 1714, le maître-autel fut construit dans le style rococo. Son tableau, mesurant 250 × 135 cm, représente la rencontre du jeune Jésus avec Jean-Baptiste. Le 27 juillet 1764, le roi Joseph II, futur empereur, visita cette église avec son frère Léopold. Une légende est liée à la fondation de l’église. Selon celle-ci, les habitants commencèrent à la construire à un autre endroit, mais tout ce que les maçons bâtissaient durant la journée était retrouvé démoli le lendemain matin. Une voix mystérieuse leur conseilla de construire l’église ailleurs. Ils cherchèrent donc un lieu plus approprié jusqu’à ce qu’ils découvrent un buisson en feu, dans lequel se trouvait un enfant en pleurs. Ils bâtirent la nouvelle église de manière que l’autel se trouve exactement à l’emplacement du buisson ardent. À côté du muret entourant l’église se dresse une plaque commémorative signalant le centre géographique de l’Europe et rappelant l’adoption de la Déclaration de souveraineté de la République slovaque.
Près de Kremnické Bane se trouve le centre géographique de l’Europe, signalé par un monument symbolique. L’emplacement du « véritable » centre de l’Europe fait débat depuis des siècles. Les sites proposés s’étendent de l’Allemagne à la Lituanie. En effet, selon la définition du centre et la méthode utilisée pour le calculer, plusieurs emplacements sont possibles.