築城年代は定かではない。戦国時代末期から近世初頭の磯兼氏の館とされる。
磯兼氏は小早川家臣末永氏の出で、末永景盛の子景通が磯兼氏を称したことに始まる。
磯兼景通のあとを継いだ磯兼景綱は乃美宗勝の子で母が磯兼景盛の女であった。景綱は元和年間(1615年～1624年)に三田尻へ所領替えで移ったことにより、磯兼氏館は廃された。
磯兼氏館は周防大島の南東部、外入を見下ろす高台に築かれていた。
県道工事にともな調査が行われ、矢穴石や裏込石なども確認された。現在地元の方によって整備されて案内板が設置されており、石垣を見ることができる。