Se empezó a construir como mezquita en el año 786,hasta hace poco se creía que tras la apropiación por los conquistadores musulmanes de la basílica hispanorromana de San Vicente Mártir y la reutilización de parte de los materiales,quedando reservada al culto musulmán,pero los estudios arqueológicos más recientes descartan esta hipótesis.
El edificio fue objeto de ampliaciones durante el Emirato de Córdoba y el Califato de Córdoba.Con 23.400 metros cuadrados,fue la segunda mezquita más grande del mundo en superficie,por detrás de la Mezquita de La Meca,siendo solo alcazaba posteriormente por la Mezquita Azul.
