築城年代は定かではないが鎌倉時代に高森惟直によって築かれたと云われる。 天正14年(1586年)正月二十三日に島津氏の攻撃によって落城したと云う。

高森城の所在地については現在も定かではなく、高森地区の東の山が比定地とされている。現在国道沿いに石碑が建てられている。

城跡に比定されているのはこの辺りで、南北二つの谷があり、南側の谷には長方形に近い五個の礎石が残っていたといい、この付近を城の中心と見なしているようである。ただ残念な事に昭和49年の大水害によって地形は大きく変わったという。

城石碑は高森側から国道を走ったとすると高森4号随道の出口山側にある。