築城年代は定かではないが弘治年間(1555年〜1558年)に村上吉充によって築かれたと云われる。
因島村上氏の当主村上吉充は厳島合戦において毛利氏に与し、その恩賞として向島と宇賀島を与えられた。この宇賀島に築かれたのが岡島城で当時は向島とは別の島であった。 因島村上氏は長崎城から余崎城へと移り、永禄10年((1567年)には青木城へと居城を移した。このとき岡島城には城代として長崎城代であった村上備前守吉之が移ったという。
岡島城は尾道水道に面した丘にあり、尾道駅のちょうど向かい位置し渡船が麓の港に入港する。
南東側から山に入る道があったので登っていくと一軒の民家があり、山上は畑などになっているようで、尾道側から見ると灯台も見える。 「広島県中世城館遺跡総合調査報告書」によれば、主郭とそれを取り囲む帯曲輪が残っているようである。