L'enceinte de l'église comprend un groupe sculptural du Calvaire de style baroque et néoclassique datant de 1760. Ce groupe en grès, disposé en triangle, est entouré d'une balustrade en pierre ; un couronnement à corniche abrite la croix portant le Christ crucifié, placée devant lui. Sous la croix se trouve une statue agenouillée de Marie-Madeleine. De part et d'autre, sur des socles distincts, se dressent les statues de saint Jean et de la Vierge Marie. Le groupe a été transféré ici depuis l'ancien monastère des Camaldules sur le mont Zobor lors de la construction de la crypte de l'évêque František Fuchs, commanditaire de cette église.
Kostol sv. Michala Archanjela bol postavený z lomového kameňa v prvej polovici 11. storočia s postupnými úpravami v 12. a 13. storočí. Starobylá románska stavba je neobyčajne krásna svojim jednoduchým tvarom. Kostolík je použitý ako predloha na rube slovenskej päťdesiatkorunovej bankovky. V blízkosti kostolíka sa nachádzalo pohrebisko, na ktorom bolo archeologicky preskúmaných 447 hrobov z 11. – 17. storočia. Návršie, na ktorom kostolík stojí, končí v opustenom kameňolome, ktorý bol ako dôležitý geologický odkryv v roku 1994 navrhnutý na vyhlásenie za chránené územie.