鎌倉時代に立原備前守によって築かれたと云われる。尼子十砦の一つで中井平三兵衛が在城したという。
高守山城は伯太川東岸の標高158.5mの山頂に築かれている。
主郭は山頂にあり北に一段、南に四段の削平地がある。曲輪は良く削平されており切岸も高い所だと数m、低い所で1m程である。
特徴は南の曲輪群は東側に削り残しの土塁を設けており、全体的に西側に通路が付いている。この通路は主郭の西下を通って北郭と南郭を結んでおり、主郭は北西部、主郭南下の段もこの通路に対して虎口が付いている。
城山の北西下の道路脇に「高守山城」の石碑が建っている。登る道は付いていないが、地元の方に聞いた所、南東側の部分から登っていたということで、そこから取り付く。