築城年代は定かではないが鎌倉時代に建部高清によって築かれたと云われる。
建仁3年(1203年)禰寝南俣院地頭職として下向してきた平清重は、建部清房の女を娶って建部清重と名乗り、その子孫は禰寝氏を称して富田城を居城とし大隅南部の有力な国人となった。
高木城は郡小学校の北西にあるシラス台地の南端に築かれていた。北西を除く三方は急峻な地形で、麓には禰寝氏初期の四代とその夫人の墓として集石された石塔群が残され、町指定史跡となっている。
高木城のある台地は現在畑となっており、遺構は不明瞭である。北西側にある車道を南へ進んでいくとやがて降りになる。この辺りに土塁のような土盛りのある平地や空堀のような地形がわずかに確認できる程度である。
郡小学校の少し西側から北の山上に向かって車道が付いている。この途中に「郡の中世古石塔群」の案内板があり、そこから入って行くと禰寝氏の墓とされる石塔群がある。高木城へはこの道をさらに登っていき広く整備された県道68号線に出た所に「高木城入口」の標柱が建っている。城はここから農道沿いに南下した位置にあった。