Il castello fu costruito nel 1554 riadattando una fortezza medievale. Nel 1870 fu trasformato nella residenza privata di Yeates Brown, console britannico a Genova. Per questo motivo il castello viene chiamato anche castello Brown.