En el recinto de la iglesia se encuentra un conjunto escultórico del Calvario, de estilo barroco y neoclásico, que data de 1760. El conjunto de arenisca, dispuesto en una composición triangular, está rodeado por una balaustrada de piedra; un remate con cornisa cobija la cruz con Cristo crucificado situada delante. Bajo la cruz hay una estatua de María Magdalena arrodillada. A los lados, sobre pedestales independientes, se alzan las estatuas de san Juan y la Virgen María. El conjunto fue trasladado aquí desde el antiguo monasterio camaldulense de Zobor con motivo de la construcción de la cripta del obispo František Fuchs, promotor de esta iglesia.
Kostol sv. Michala Archanjela bol postavený z lomového kameňa v prvej polovici 11. storočia s postupnými úpravami v 12. a 13. storočí. Starobylá románska stavba je neobyčajne krásna svojim jednoduchým tvarom. Kostolík je použitý ako predloha na rube slovenskej päťdesiatkorunovej bankovky. V blízkosti kostolíka sa nachádzalo pohrebisko, na ktorom bolo archeologicky preskúmaných 447 hrobov z 11. – 17. storočia. Návršie, na ktorom kostolík stojí, končí v opustenom kameňolome, ktorý bol ako dôležitý geologický odkryv v roku 1994 navrhnutý na vyhlásenie za chránené územie.