En la época del emperador Augusto la zona en la que hoy se alza la basílica era parte de la periferia de la ciudad y de carácter residencial. En el siglo III, de hecho, se construyó allí una residencia imperial.
Cuando Constantino trasladó la capital a Constantinopla, la zona quedó en propiedad de su madre Elena, que decidió transformar una parte de la residencia en capilla para la conservación de las reliquias de la Cruz, encontradas por la propia soberana en el Monte Calvario durante su peregrinación a Tierra Santa en el año 325. Alrededor de la capilla se construirá después la actual basílica.
A lo largo de los siglos ha habido muchas restauraciones y reformas, entre las que destacan de manera especial las realizadas por el cardenal Mendoza (1478‑1495), durante las cuales se encontró una caja mortuoria en el arco del ábside de la iglesia con el Titulus Crucis en su interior.
Por tanto, la basílica fue concebida desde el principio como un gran relicario para proteger y conservar los preciosos testimonios de la pasión de Jesús. De hecho, será llamada “en Jerusalén” precisamente porque en su interior, entre otras cosas, hay tierra consagrada del Monte Calvario, puesta en la base de los cimientos.