『芸藩通志』では「牛頭山 養山 並に小河内村にあり、共に大永年間、武田刑部が弟、小河内彌太郎これに居る、天文年間、亡といふ、」とある。
小河内弥太郎は武田刑部の弟で安芸武田氏一族と考えられているが、応永の安芸国人一揆に小河内沙弥妙語の名が記されており、この頃には小河内を名乗る氏族がいたことが知られる。
養山城は安楽寺の北背後に聳える標高428mの山に築かれている。
主郭は最高所の曲輪Iで東西に長い。土塁はなく虎口も明確ではないが、南東下の曲輪IIから続くスロープが南下まで登ってきており、この部分から出入りしていたと考えられる。
曲輪IIは主郭の南東下にあり北の一部の土塁がある。南の谷筋に降りて行くつづら折れの道が接続しており、ここが大手筋と考えられる。この道の一部に石積がある。
主郭の北東下には曲輪IIIがある。南北に長く南端部分と北西部分に一部石積がある。 東側面に竪堀群3があり、下方は堀切になっている。竪堀の起点は曲輪に近く、特に南側はほぼ曲輪部分と高低差がない。
主郭から南へ伸びた尾根は二重堀切1で遮断しており、脇には竪堀がある。北西背後に続く尾根も二重堀切5で遮断し、北側面には谷筋にたいして畝状竪堀群4を設けている。
二重堀切5を越えて北へ続く尾根には浅い堀切6と堀切7があり、この間の尾根は自然地形の緩斜面である。
南西麓の下三谷集落から山腹にある殿之城神社に続く参道がある。ここから尾根伝いに登れば主郭に達する。
殿之城神社は城主小河内弥太郎を祀ったもので、境内には斬首した首を祀った首塚と家臣が供養のために植えた松がある。
車は下三谷集会所に駐めさせていただいた。