Τον 5ο αι. μ.Χ. και πιθανότατα στο β’ μισό, στην αυλή της Βιβλιοθήκης του Αδριανού (απέναντι από την οδό Αδριανού αριθ. 62), ιδρύθηκε ναός, του οποίου η ανέγερση αποδίδεται στον έπαρχο του Ιλλυρικού Ερκούλιο (408-412) ή στην Αθηναία αυτοκράτειρα Ευδοκία (402;-460), σύζυγο του αυτοκράτορα Θεοδοσίου Β’. Κατελάμβανε περίπου το μισό ανατολικό χώρο της αυλής και είχε διαστάσεις 39×39 (τετράκογχο). Όπως σημειώνει ο Ι. Τραυλός, ο κυρίως ναός αποτελούνταν από μια τετράγωνη αίθουσα διαστάσεων 15,42×15,42, που στο ανατολικό μέρος κατέληγε σε ημικυκλική αψίδα διαμέτρου 8,63 μ., ενώ στις τρεις άλλες πλευρές ανά τέσσερις κίονες σχημάτιζαν μικρότερες ημικυκλικές αψίδες, διαμέτρου η καθεμιά 7,49. Ακόμα, από τη μια και την άλλη πλευρά του τετραγώνου του κυρίως ναού σχηματίζονταν δύο κλίτη, πλάτους 3,75 μ. το καθένα. Στο δυτικό μέρος υπήρχαν νάρθηκας, διαστάσεων 25,12X5,42 μ., και προσκτίσματα και σκάλες από το ένα και το άλλο μέρος, που οδηγούσαν στον γυναικωνίτη. Οι τοίχοι και το δάπεδο του τετραγώνου καλύπτονταν με μάρμαρα, ενώ τα δάπεδα των κλιτών και των προσκισμάτων ήταν στρωμένα με ψηφιδωτά. Αργότερα, φαίνεται πως η εκκλησία καταστράφηκε από πυρκαϊά και στη θέση της κτίστηκε στο τέλος του 11ου αι. η στις αρχές του 12ου επίσης μεγάλη τρίκλιτη βασιλική, τη μορφή της οποίας γνωρίζουμε από απεικόνιση του Couchaud και άλλων περιηγητών.
Όταν η πόλη υποτάχθηκε στους Φράγκους, στη Μεγάλη Παναγία μεταφέρθηκε από τον Παρθενώνα η εικόνα της Παναγίας της Αθηνιώτισσας (του τύπου της Οδηγήτριας) που, κατά την παράδοση, αργότερα μεταφέρθηκε θαυματουργικά στη Μονή Σουμελά του Πόντου. Κατά τον Ιταλό Nicolo Martoni, που το 1395 επεσκέφθη την Αθήνα, η εικόνα υπήρχε ακόμα τότε στον ναό.
Μετά την Απελευθέρωση, για ένα διάστημα η εκκλησία χρησιμοποιήθηκε για τη στέγαση της αρχαιολογικής συλλογής Πιττάκη, ενώ στη συνέχεια, όταν διαμορφωνόταν η πλατεία Αγοράς (στη συμβολή οδών Αδριανού και Αιόλου), σχεδόν καλύφθηκε από χώματα. Δυστυχώς η βασιλική αυτή καταστράφηκε το 1884 από μεγάλη πυρκαϊά, που κατέστρεψε όλη την Αγορά.
Σήμερα φαίνονται καθαρά αρκετά αρχαία αρχιτεκτονικά μέλη του ναού (κίονες κ.λπ.).
Η εκκλησία ήταν αφιερωμένη στην Παναγία (κατά τον Α. Ξυγγόπουλο στη Ζωοδόχο Πηγή), λόγω του μεγέθους της λεγόταν Μεγάλη Παναγία και θεωρείται ως ο παλαιότερος γνωστός χριστιανικός ναός της Αθήνας.
