Aquí vivieron personajes importantes de la historia de España. Fue la mansión habitual de doña María de Padilla, amante de Pedro I el Cruel. Otros estuvieron prisioneros, como la princesa de Portugal doña Beatriz, que más tarde se casó con Pero Niño, señor de Cigales (Valladolid). El conde de Urgel Jaime II, derrotado en el Compromiso de Caspe y militarmente en Balaguer, fue juzgado y traído prisionero por don Fernando de Antequera. La leyenda cuenta que el huésped prisionero más famoso fue el conde castellano Pedro Vélez, al ser sorprendido en amoríos dentro del recinto con una prima carnal del rey Sancho III el Deseado. Un romance cuenta la historia completa, con estrofas tan descriptivas como ésta:

Que el conde don Pedro Vélez
en el palacio fue hallado
con una prima carnal
del rey Sancho el Deseado,
las calzas a la rodilla
y el jubón desabrochado…