安政3年(1856年)五島盛成が石田陣屋の一角に隠居所を築いたのが始まりで、安政5年(1858年)に完成している。
国指定名勝となっている「心字の池」は盛成のとき、京から流罪として福江に流された僧善章によって造られたもので、盛成が好んだ亀を至る所に模して造られている。
五島邸は五島盛成のあと、盛徳、盛主、盛光、盛輝と続いて明治に至る。
五島邸は石田陣屋の一角にあり、海より一番遠い位置に築かれている。
「心字の池」が国指定名勝となっているため、庭園のイメージが強かったのだが、江戸時代から残る隠殿の建物がとても素晴らしいものであった。全国には武家屋敷や農民の母屋などは残されているが、殿様の隠居所というのは記憶がなく、御殿とはまた違った趣を感じることができる。特に、模様の描かれた壁や亀、うさぎをモチーフとした釘隠しはとても江戸時代のものとは思えないシャレたデザインで、これはぜひとも実物を見ていただきたいものである。また雪隠(トイレ)も陶器の優れたデザインで、これも必見である。