Il monumento più importante è la cripta, la piccola basilica, sulla quale fu edificata l'attuale cattedrale. è costruita a pianta basilicale a due navate con abside semicircolare ed è preceduta da un atrio con colonne raccogliticce. Il tempio, che aveva volte a crociera, poi in parte sostituite da volte a botte, misura la lunghezza di metri 20 e la larghezza massima di metri 7,10. Era dedicata a Gesù Salvatore come attesta un avanzo di pittura ad incausto sul pilastro, cui è addossato l'altare. Secondo il costume bizantino, ha l'abside ad oriente e l'ingresso ad occidente. Davanti all'altare c'è un vano profondo, che doveva servire anticamente da battistero.

La relazione dell'archeologo Bernich compilata il 1903, dopo aver descritto l'antica basilica, afferma : «Essa costituisce un prezioso documento per l'archeologia cristiana, della quale non si trova in Puglia altro riscontro.»

Certamente l'attuale cripta non fu l'antico tempio di S. Pietro. Essa è dedicata a Gesù Salvatore e, secondo l'opinione dei dotti, non è anteriore al sec. VII. Tuttavia l'eco della tradizione è documentata dall'altare dedicato a S. Pietro nella nuova cattedrale. Per conciliare il giudizio dei dotti con la tradizione, bisogna ammettere che la basilica sia stata costruita dopo la demolizione d'un precedente tempio.

Possiamo ritenere che la piccola basilica fu costruita al tempo dei longobardi, quando Andri riebbe il suo vescovo che trasportò la residenza da S. Andrea accanto alla basilica, tra la residenza dei dirigenti longobardi e il baluardo di difesa cittadina. Confortiamo tale asserzione, riportando le seguenti parole del Bernich : «Per la totale mancanza in Andria di altre chiese importanti così antiche, possiamo anche asserire, senza timore di fare un'ipotesi troppo arrischiata, che essa fosse, la principale del luogo, e, come tale, fosse dedicata al Salvatore.

Nè deve farci impressione la sua piccolezza, perchè, prima del 1000, le chiese di Puglia si costruivano in proporzione degli abitanti, senza fasto ed inutile ampiezza. Piccina era quella di S. Pietro ad Otranto; e tali quelle di Castro e di S. Michele al Gargano, prima che venissero ricostruite rispettivamente dai Normanni e da Federico II. E le dimensioni originarie della stessa cattedrale barese non erano forse quelle della sua cripta?»