W czasach cesarza Augusta teren, na którym dziś stoi bazylika, miał charakter peryferyjny i rezydencyjny. W III wieku zbudowano tu rezydencję cesarską.
Kiedy Konstantyn przeniósł stolicę do Konstantynopola, teren ten pozostał własnością jego matki Heleny, która postanowiła przekształcić część rezydencji w kaplicę dla zabezpieczenia relikwii Krzyża, odnalezionych przez samą władczynię na Górze Kalwarii podczas jej pielgrzymki do Ziemi Świętej w 325 r. Wokół kaplicy zbudowano wówczas obecną bazylikę.
Na przestrzeni wieków wykonano kilka prac konserwatorskich i modyfikacji Bazyliki: wśród których, szczególnie zapadły w pamięć, te przeprowadzone przez kardynała Mendozę (1478-1495), podczas których w łuku absydy kościoła znaleziono płytę grobową z umieszczoną wewnątrz tabliczką Titulus Crucis – (łac. Tytuł Krzyża – INRI).
W związku z odkryciami dokonanymi w czasach remontowych, Bazylika została przeznaczona, jako wielki relikwiarz, istniejący w celu zabezpieczenia i konserwacji cennych świadectw męki Jezusa. Odtąd będzie ona nosiła nazwę „w Jerozolimie” z uwagi na znajdującą się wewnątrz m.in. ziemię z Golgoty przywiezioną przez Cesarzową z Palestyny, którą symbolicznie umieszczono u podstaw fundamentów świątyni.
