築城年代は定かではいが文明年間(1469年〜1487年)に麻生遠江守家延(家信とも)によって築かれたと云われる。 花尾城合戦で大内氏と和睦した家延が岡ノ荘二十八ヶ村が与えられ、岡城を築いたという。

家延より三代の麻生隆守は大友宗麟の家臣瓜生左近大夫貞延に攻められ、内海の海蔵寺にて自刃して滅亡した。

岡城は隆守院の北西にある丘陵に築かれている。

山頂に本丸があり、北下に二の丸がある。その北に三ノ丸がある。 南の尾根には堀切が残り、西麓に土塁を伴う虎口が残っている。

吉木小学校の西側の道路を少し北にいくと隆守院がある。この北隣に案内板が建っており山に入る遊歩道がある。