Los Borromeo, prestigiosa casa originaria de Florencia, en el siglo XIV se convierten en los propietarios de las islas en el siglo XIV dando inicio a su transformación construyendo villas y jardines.
Aún hoy la familia posee la Isla Bella, la Isla Madre y los dos escollos conocidos como Castillos de Cannero, por la presencia de ruinas de construcciones que se remontan al medievo.