En el 711 tuvo lugar la Batalla de la Janda, en la cual las tropas norteafricanas de Tarik derrotaron a D. Rodrigo. A partir de ahí y durante cinco siglos y medio, Vejer permaneció bajo dominio musulmán.

La conquista de Vejer fue un proceso en dos fases. La primera conquista de Vejer tuvo lugar en el año 1250, en tiempos del rey Fernando III "El Santo", pasando de nuevo a manos árabes en Junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo. La segunda y definitiva comenzó en Agosto de 1264, expulsó a la población mudéjar de la zona, para culminar a finales de 1285

En 1307, tras una segunda repoblación pasó a ser señorío de Alonso Pérez de Guzmán "El Bueno", que ya estaba en posesión de desde 1299 del señorío de las almadrabas de toda la zona del Estrecho y que tras la toma de Tarifa se había convertido también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras. De él heredarían la titulación de la villa los Duques de Medina Sidonia.