Calcit kann sowohl massiv als auch körnig, faserig oder kristallin auftreten und zeigt in letzterem Falle den höchsten Formenreichtum aller Minerale. Es ist als Gestein bildendes Mineral eines der häufigsten der Erdkruste und kommt sowohl in magmatischen Gesteinen, zum Beispiel bestimmten Laven, metamorphen Gesteinen (Marmor) oder Sedimentgesteinen wie Kalkstein vor. Es tritt alleine oder mit anderen Mineralen vergesellschaftet in Gängen auf, entsteht aber auch an der Erdoberfläche. Häufig entand/entsteht Calcit durch Biomineralisation, sei es in Gesteinsformationen, im Boden, als in Teilen unerwünschter Zahnbelag (neben bevorzugt Kalzium-Hydroxylapatit) usw.; hier aber immer in ganz bestimmten Mikro-Umweltbedingungen (Schmittner und Giresse, 1999).

Calcit löst sich gut in säurehaltigem Wasser und wird dadurch leicht zum Beispiel aus Kalkstein ausgelaugt, wodurch Höhlensysteme entstehen. Der gelöste Calcit lagert sich an anderer Stelle wieder ab; dabei entstehen die für Tropfsteinhöhlen typischen Tropfsteine, die Stalagmiten und Stalaktiten.

Die weitaus größten Calcitvorkommen gehen auf Meeresablagerungen zurück. Dabei setzen sich die calcithaltigen Skelette und Schalen unzähliger kleiner Meerestiere wie etwa Muscheln, Korallen und diverse Protisten wie die Coccolithophoriden am Meeresgrund ab. Diese Kalkalgen werden mit einer Größe von weniger als 30 Mikrometer zum Nanoplankton gezählt und bilden winzige Kalkschilde, die so genannten Coccolithen, die nach dem Absterben der Algen auf den Ozeanboden sinken. Die Kreidefelsen von Dover bestehen aus solchen Coccolithen. Auch Korallenriffe spielen bei der Calcitbildung eine herausragende Rolle.

Anorganische, abiogene Bildungsbereiche von Calcit sind flache, im Intertidalbereich gelegene, tropische Meeresplattformen. Dort wird Calcit in Form von millimeterkleinen Kügelchen (Kalkooiden) ausgefällt. Calcit in Marmor geht auf thermische Metamorphose von Calcitsedimenten zurück.

Ab einer Meerestiefe von 3500 und mehr, der so genannten Calcit-Kompensationstiefe, löst sich Calcit vollständig im Wasser. Daher bleiben in dieser Tiefe weder calcithaltige Sedimente noch Muschelschalen oder Skelette erhalten.