築城年代は定かではないが江田氏によって築かれた。 江田氏は藤原秀郷流の末裔で鎌倉時代末期に広沢実村の嫡男実綱が江田、次男実成が和知を分割相続したことに始まる。
江田氏ははじめ向江田の天良山城を居城としていたが、のちに旗返山城を居城とした。 戦国時代には周防国大内氏に属していたが、大内義隆が陶晴賢によって討たれると、出雲国尼子氏に転じた。
天文22年(1553年)大内氏は毛利元就に江田氏攻略を命じた。毛利氏は支城である高杉城などを攻略し、援軍として備後に兵を進めた尼子勢と泉合戦で戦い、この旗返山城に攻め寄せた。このとき毛利氏が布陣したのが陣床山城という。江田氏は城を支えきれず城を脱して滅亡した。
戦後元就は自軍の将を城番にするよう晴賢に懇願したが、晴賢は家臣江良房栄を城主とした。このことが毛利元就が陶晴賢に敵対する一因となったとも云われる。
旗返山城は標高420mほどの山に築かれており、現在は登山道が整備されている。
北端最高所が主郭で南端までくの字に曲輪が連なっており、中央の曲輪IIIのあたりが一番低い。
主郭Iは北端最高所で北側に土塁を伴う。虎口1は西端にあって井戸とされる窪みの脇をスロープでI2と繋がる。このあたりには小さな石が並んでいる。I2とI3のところにも竪土塁のようなスロープがあり、この脇からI5と繋がる部分には石段が残っている。
I5、I6は広い曲輪でI6は東側に石積みが若干残り、東辺には根石のような小さな石が点在している。
南端に位置するII1は西側に枡形状の空間を持つ虎口3があり、北のIIIに向かって曲輪を連ねている。
III、IVは尾根上に位置する曲輪で一番低い段となっている。IIIには虎口2が確認でき、おそらく大手はここへ登ってきたものと推測されるが道ははっきりしない。
北尾根は大堀切1で遮断しているが、この城の特徴としてそこからさらに北側の尾根に設けられた竪堀群2の存在がある。残念ながら近年設けられた作業林道によって破損しているが、尾根上から放射線状に竪堀が伸びていた。
大堀切1は天然の鞍部を利用したもので、東西両側は谷地形に続いているが、西側は内側に二条の竪堀群3を設けている。
登山口は白糸滝の入口と同じで、途中で分岐して登る道が整備されている。登山道入口付近に駐車可能。
最寄り駅(直線距離)