Cuentan que tras la llegada del emperador Carlos V a Yuste en 1557 se creyó conveniente autorizar la creación de varios prostíbulos en la villa para el entretenimiento de su séquito.

La Casa de las Muñecas, como es conocido este edificio, no es más que uno de estos burdeles (parece ser que hubo al menos otros dos más), y según cuentan era muy frecuentado por la comitiva que acompañaba al emperador.