詳細不明。城主は薬師寺式部入道通之という。
高森城は南楽園の北にある標高82mの山に築かれている。
主郭は山頂にあって広く、南北二段で南が一段高い。北端には櫓台状の高まりがあり、北尾根はやや間隔を開けて二条の堀切がある。切岸直下も堀切だった可能性があり、そうであれば三条の堀切となる。
主郭の西に一段の腰曲輪、東側にも一段の腰曲輪があり、上部に石積がある。南東へ伸びる尾根に段々の平段があり、この辺りは曲輪と思われる。南西側の尾根にも平段があるが、この辺りは開墾の跡だろうか。主郭も含め開墾されていたようである。
南東の尾根先に白王神社があり、そこから尾根伝いに行くことができる。