Zur Zeit des Kaisers Augustus war das Gebiet, in dem sich die Basilika heute befindet, ein Randgebiet mit Wohngebäuden. Im 3. Jahrhundert wurde hier eine kaiserliche Residenz errichtet.
Als Konstantin die Hauptstadt des römischen Reiches nach Konstantinopel verlegte, blieb das Gebiet im Besitz seiner Mutter Helena. Diese beschloss, einen Teil der Residenz in eine Kapelle zur Aufbewahrung der Kreuzesreliquien umzuwandeln, die die Herrscherin selbst auf dem Kalvarienberg während ihrer Pilgerreise ins Heilige Land im Jahr 325 gefunden hatte. Die heutige Basilika wurde später um die Kapelle herum gebaut.
Im Laufe der Jahrhunderte wurden verschiedene Renovierungen und Umbauten vorgenommen, vor allem unter Kardinal Mendoza (1478-1495). Dabei wurde im Apsisbogen der Kirche ein Leichenkasten mit dem Titulus Crucis gefunden.
Die Basilika war also von Anfang an als großer Reliquienschrein konzipiert, der die kostbaren Zeugnisse der Passion Jesu schützen und bewahren sollte. Sie wird in der Tat "in Jerusalem" genannt, weil sich im Inneren unter anderem geweihte Erde vom Kalvarienberg befindet, die am Fuß der Fundamente eingelassen wurde.
