築城年代は定かではない。
南北朝時代には毛利親胤、寺原掃部がこの城に籠り吉川氏と争った。 その後、吉川氏の所領となっていた余谷城だが吉川氏の内紛により、森脇経和ら重臣三百余騎がたて籠った。
この内紛は毛利元就の次男元春を興経の養子として家督を譲る事で決着、元春が相続した後は粟屋氏が城主となった。

登山道を滝まで行くと「余谷城行」の案内があるが、これが最初で最後。 それを少し登ると石積があるが遺構かどうか不明。 川は途中で何本かに分岐しているが、ひたすら右側に歩いて行く。 城山の南西側に回り込んだ所に、笹に覆われた広い平坦地があり、ここから谷筋を無理矢理登ったが、この先にちゃんと道があった。
登りつめると想像通り、矢竹、笹、雑木が密集しており、それをかい潜りながら主郭を目指す。
山頂は東西2つの高所があり、それぞれ東の丸、西の丸となっている。 東の丸は北西面に腰曲輪があり、その下にある曲輪を通じて西の丸へと続く。 西の丸は南の曲輪から3m程高所にあり南北に長い。
更に西には堀切を越えて御部屋の檀と呼ばれる曲輪があり、その先は低土塁が残っている。 更に尾根を下ると登山道が南北から合流している。 南側は今回登ってきた方からだが、北側はどこへ出るのか不明。 本当ならそちらへ降りたいのだが、とんでもない所へ出ると車をとりに戻るのが大変なので我慢して来た道を戻る。

国道261号から寺原集落に入り寺原川沿いの道を走ると、寺原川に架かる赤い余谷橋があり、そこに案内板がある。
城址へは、その橋を渡り滝を目指して南下する。 途中までは未舗装ながら車道があり、その終点に車を置いて歩く。
登山道は一応あるが案内標識は1箇所(滝の所)にしかない。 与谷城を右手に見ながら山を迂回して南西側から登るようになる。 ひたすら川沿いに歩き何度か渡ることになるので、雨が降って増水すると危険。

付近の城(直線距離)
1.0km 安芸 朝堂城
1.5km 安芸 寺原城
2.0km 安芸 官野地城
2.5km 安芸 今田城
2.7km 安芸 今田氏館
2.7km 安芸 平が城
3.1km 安芸 正福谷城
3.5km 安芸 今田土居屋敷
3.6km 安芸 須倉城
3.6km 安芸 猿喰城
3.7km 安芸 火野山地土居屋敷
3.9km 安芸 吉川元春館
4.1km 安芸 笠天山城
4.2km 安芸 龍山城
4.3km 安芸 松本屋敷
4.3km 安芸 ふしんケ城
4.4km 安芸 小積山城
4.5km 安芸 春木地蔵庵城
4.6km 安芸 万徳院跡
4.7km 安芸 明智城
4.7km 安芸 有田城(千代田町)
4.9km 安芸 狐城土居屋敷
5.2km 安芸 岩崎山城
5.5km 安芸 丸山城

2007年4月