築城年代は定かではないが元暦年間(1184年〜1185年)に源義経に呼応した緒方三郎惟栄が築き、一族の加来小太郎綱平を置いたのが始まりとされる。
天正15年(1587年)豊臣秀吉による九州征伐の恩賞として、黒田孝高に豊前六郡が与えられ中津城主となると、孝高の弟黒田利高が一万石を与えられ高森城主となった。
高森城は駅館川東岸に築かれている。高森城は駅館川を瀬にする形で西に本丸、その周囲に二ノ丸、二重空堀を挟んで東に三ノ丸を配していた。現在は駅館大橋が高森城を南北に分断する形で通っている。
県道629号線を西に進んで駅館大橋に差し掛かる手前の農道入口に高森城の標柱が建っている。城山神社の北側にある畑となっている部分が本丸であろう。城山神社辺りは二ノ丸で神社本殿の北東側に高い土塁が残っている。東側には二重の空堀が残り規模も大きい。