Budowę tego wspaniałego meczetu rozpoczęto w połowie VIII wieku, kiedy władzę nad miastem przejął Abd ar-Rahman I, potomek wypędzonego z Damaszku rodu Umajjadów. Był władcą wojowniczym, ale i światłym. Szybko zawładnął prawie całym Półwyspem Iberyjskim i mianował się emirem, kładąc podwaliny pod jedno z najnowocześniejszych państw średniowiecznej Europy. Już za panowania Abd ar-Rahmana II emirat Kordoby zaczął rywalizować z Damaszkiem, a wciąż rozbudowywana i upiększana Meząuita (Wielki Meczet) stała się trzecim – po Mekce i meczecie Al-Ak-sa w Jerozolimie – celem pielgrzymek muzułmanów. Czasy największej świetności Kordoba przeżywała za panowania Abd ar-Rahmana III, który w 929 roku mianował się kalifem. Była wtedy największym i najlepiej rozwiniętym miastem europejskim. Działało tu 27 szkół, 50 szpitali, 900 łaźni publicznych i ponad 80 tysięcy sklepów.  Ostatecznej rozbudowy Mezquity dokonano na przełomie X i XI wieku. Las kolumn dzielił wówczas wnętrze na tyle części, ile jest dni w roku. Świątynię oświetlało 280 żyrandoli i 1445 lamp. Pomiędzy nimi wisiały dzwony z kościoła w Santiago de Compostela, które musieli tu przynieść na plecach chrześcijańscy jeńcy z podbitej Galicii. Dwieście lat później, w 1236 roku, kiedy Kordobę zajął kastylijski król Ferdynand III Święty, Maurowie odnieśli je do miasta św. Jakuba.