築城年代は定かではないが天正8年(1580年)頃に築かれたと云われる。 城主は日本城郭大系には「水沢為虎」とあるが、出雲国三沢城主で尼子の後に毛利氏に仕えた三沢為虎が城主であった。

高仙城は標高661.3mの高山(高仙とも書き「たかせん」と読む)の山頂に築かれている。山頂の主郭を中心に北東から南西にかけて階段状に削平地を並べた縄張りになっているが、堀切は設けられていない。

山頂にある主郭から南西および北東に階段状の曲輪が連なっているが、段差は低く不明瞭である。曲輪間に堀切などがないので単郭であったとも考えられるが、主郭の南下にある横堀状の通路が、南の曲輪との連絡路になっているので、中心の曲輪と北、南の曲輪はそれぞれ別郭であったかもしれない。

南の曲輪は南側に低い土塁があり南端部は三方に土塁が巡る。南隅には開口部があり虎口になっている。段差は一部列石がある。

北の曲輪は主郭付近が薮化しているので不明瞭であるが、先端部は列石で段を設けており、一部土塁が付いている。北側には帯曲輪がある。

主郭から南西側にある曲輪群は南側に土塁があり、先端部分は土塁が三方を囲んでいる。南端の小郭はすり鉢状にやや窪んでおり、南隅部が開口して虎口になっている。北側の斜面には石積がある。主郭部と南の曲輪群との間には堀切などは設けられていないが、主郭の南下にある横堀状の通路がこの南曲輪群との間の連絡路になっていたようで、南にやや張り出しやや横矢掛けになっている。

北東側の曲輪群も同様に微妙な段差の曲輪群で、先端部付近は列石によって段が設けられている。先端部は列石の上に土塁が付いている。

登山口は真庭市余野下にある余野小学校の隣の「高仙の里よの」キャンプ場にある。ここから約2.2kmと遊歩道の入口にあるが、遊歩道と呼べるのは1km程で、残り1kmの道標あたりからは山道になる。山道は倒木などでやや歩きづらい所もあるが、踏み跡はしっかりしている。最後は急坂でロープをたぐりながら登る。山頂まで約50分でした。