El Castillo de Vejer de la Frontera data de los siglos X y XI, en época de Abderramán I y sucesores. Se encuentra situado en la parte más elevada, y posiblemente la zona habitada más antigua de Vejer, sobre la base de otro anterior de la época árabe.
En el S. XIV fue residencia de los Duques de Medina Sidonia, (nuestro paisano Alonso Perez de Guzmán "el bueno") señor de Vejer. Se encuentra englobado dentro del grupo de “Castillos menores” por poseer sólo una puerta de entrada y salida colocada en el punto más accesible y de más fácil defensa.