築城年代は定かではないが江田氏によって築かれた。 江田氏は藤原秀郷流の末裔で備後国三次郡和田村の地頭職を得て下向した。

戦国時代には旗返山城を居城とし周防国大内氏に属していたが、大内義隆が陶晴賢によって討たれると、出雲国尼子氏に属した。

天文22年(1553年)毛利元就は高杉城を落とし、兵を進めて旗返山城に攻め寄せると、江田氏は甲山城山内氏を頼って逃れた。 落城後、元就は自軍の将を城番にするよう晴賢に懇願したが、晴賢は家臣江良房栄を城主とした。 このことが毛利元就が陶晴賢に敵対する一因となったとも云われる。

城は北の山塊から南へ伸びた尾根の頂部、標高430mの地点に主郭を置き、南に伸びた尾根に曲輪を配している。

主郭の北側背後は低土塁があり背後の空堀は扇状になっている。 主郭は南と北西部に虎口があり、北西部には列石(石段かも)、南の虎口には石段が残っている。 主郭から南に伸びた尾根は途中でL字型に南東方面に伸びのが、その連結部分には石積が僅かに残っている。

まともな登山道らしきものは見当たらなかったが、主郭には川西小学校の児童が書いた旗がはためいていた。

登山道があるかどうかわからない。主郭背後の空堀から主郭への斜面に踏み跡があることから、国土地理院の地図にある川西小学校の北側からの山道が使えるかもしれない。

参考までに私が登ったルートを示すと、尾根の先端部分ある立派なお墓の左側から山に取り付きひたすらよじ登った。一応踏み跡らしきものも所どころあるが、土が硬く非常に滑べりやすい。