La Torre del Clavero se construyó en el siglo XV como parte del Palacio de don Francisco de Sotomayor, que era Clavero Mayor de la Orden de Alcántara (la persona encargada de custodiar las llaves de las fortalezas y del archivo de la Orden).
De esta distinción viene el nombre con el que se conoce a la torre.