築城年代は定かではないが永正年間(1504年〜1521年)頃には上山氏によって築かれていたと云われる。 上山氏は毛利氏と同じく大江広元を祖とする家で、大江広元の二男長井時広の子、泰経が備後国世羅郡上山村を領して上山氏を称した事に始まる。
上山氏は当初山内氏に属していたが、天文年間(1532年〜1555年)頃より毛利氏に従った。 天文13年(1544年)尼子氏が備後へ攻め入ると、上山広信は毛利氏に従って備後国布野にて尼子氏と戦い討死した。その後は重広・元忠と続き、関ヶ原合戦後は毛利氏に従って防長へ移っている。
南にある城山城が高八山城へ移る前の居城と云われ、水の手に苦しんだことから築いたのがこの高八山城とされる。飯田川の西側にある大仙寺城も上山氏の出城あるいは居館と考えられている。
高八山城は飯田川の東岸、北へ向かって張り出した丘陵の頂部に築かれており、現在は登山道が整備されている。
主郭は最高所で南に高土塁があり内側に一部石積を伴う。北端には低い石積で段を築いており、北側面や東側面には石積が確認でき、とくに北側は高石垣の可能性がある。
主郭の東下には北側に土塁と石積を伴う小さな曲輪II、さらに下方に南北二段になった曲輪IIIがある。現状の登道はVからIIを経てIに登る道であるが、IIIから直接Iか、IIを経てIに登るのが本来の道と考えられる。
曲輪Vは東の伝搦手、西の伝大手がある曲輪で南端に方形で石組みされた井戸が残る。曲輪Vの北西端から曲輪VIに降りる道があり、曲輪VIは三方に低い土塁状地形が残る。
主郭の南背後は大堀切3で少し間を空けて堀切4があるが、この間の尾根はほぼ自然地形である。一方北の尾根先端は堀切と東側のみ竪堀を一条設け、北西側は浅く不明瞭であるが畝状竪堀群2と思われる。
国道375号線と県道161号線との交差点から500m程南下すると、東の集落内に入って行く道がある。その道を進むと城山の東の谷間に入る林道の入口に道標が出ている。林道の終点に登山口があり、そこまで車で入ることができるが、あまり広くないので回転せずにそのままバックで入口まで戻ることとなる。
最寄り駅(直線距離)