築城年代は定かではないが弘治年間(1555年〜1558年)に村上吉充によって築かれたと云われる。

因島村上氏の当主村上吉充は厳島合戦において毛利氏に与し、その恩賞として向島と宇賀島を与えられた。村上吉充は余崎城を築いて長崎城から移り居城としたが、永禄10年(1567年)には青木城を築いて居城を移し、余崎城には城代として鳥居次郎が在城したという。

余崎城は向島南部の城山(観音崎)に築かれている。 公園かと思っていってみたのだが、色々開発されたあと封鎖されているようで、入口の道路は私有地により通行禁止であった。

「広島県中世城館遺跡総合調査報告書」によれば山頂部から南西に曲輪が展開しており、主郭付近は石垣が多用されているという。