築城年代は定かではないが香川景光によって築かれたと云われる。 香川氏は相模高座郡香川荘発祥で、承久の変(1221年)後に安芸国佐東郡八木村の地頭職を得た。安芸へ下向したのは香川景光の頃と云われる。

香川氏は安芸国守護銀山城主武田氏に従っていた。香川行景は有田合戦で武田元繁が討死すると己斐豊後守宗端とともに毛利軍に突撃して討死した。

武田氏滅亡後、行景の弟元景は毛利氏に従い、厳島合戦では仁保島城に籠って陶方の軍勢を撃退した。

関ヶ原合戦後、毛利氏が防長二ヶ国に減封になると香川光景の長男広景は毛利氏に従って萩へ移り、次男春継は吉川氏に従って岩国へ移り家老となった。