築城年代は定かではないが永正年間(1504年〜1521年)頃には上山氏によって築かれていたと云われる。 上山氏は毛利氏と同じく大江広元を祖とする家で、大江広元の二男長井時広の子、泰経が備後国世羅郡上山村を領して上山氏を称した事に始まる。

上山氏は当初山内氏に属していたが、天文年間(1532年〜1555年)頃より毛利氏に従った。 天文13年(1544年)尼子氏が備後へ攻め入ると、上山広信は毛利氏に従って備後国布野にて尼子氏と戦い討死した。その後は重広・元忠と続き、関ヶ原合戦後は毛利氏に従って防長へ移っている。

南にある城山城が高八山城へ移る前の居城と云われ、水の手に苦しんだことから築いたのがこの高八山城とされる。飯田川の西側にある大仙寺城も上山氏の出城あるいは居館と考えられている。

高八山城は飯田川の東岸にあり、北へ向かって張り出した丘陵の頂部に築かれている。

現地の鳥瞰図の呼称に従うと、南端最高所にある本丸から北へ二ノ丸・三ノ丸・北ノ丸と連ねる連郭式の縄張りであるが、二ノ丸は他と比べて狭い。

本丸は南端頂部にあり南端に高土塁を設けて背後の尾根は二条の堀切で遮断している。 堀切は内側が大堀切でやや平たい段をおいて、斜めに土橋の架かる堀切が外側に付いている。 本丸の土塁や北側を中心として石積が残っている。

三ノ丸は西側からの大手道と東側からの搦手道が繋がる曲輪であるが、搦め手側の東面のみ土塁が付いている。南端には井戸跡があり石組井戸が残る。

三ノ丸の北西側から通路を降りると北ノ丸に至る。北ノ丸は低土塁が部分的に残り、北尾根は堀切で遮断している。

現在の登り道は東側の搦め手が主で、西側の大手は途中まで降りてみたが道がわからなくなっており、無理して降りてはいない。

国道375号線と県道161号線との交差点から500m程南下すると、東の集落内に入って行く道がある。その道を進むと城山の東の谷間に入る林道の入口に道標が出ている。林道の終点に登山口があり、そこまで車で入ることができるが、あまり広くないので回転せずにそのままバックで入口まで戻ることとなる。