築城年代は定かではない。緩木城は島津に内応した入田氏の城、緩木高城は岡城主志賀氏の家臣佐田常任らが居て、島津軍によって攻め落とされたとも云われるが、はっきりしたことは分かっていない。

緩木高城は緩木城のある緩木山から北西に伸びた尾根の一つ、標高788mの所に築かれている。

主郭は山頂部で綺麗に削平され東尾根に堀切を設けており、東尾根にはさらに曲輪が一つあり、東端も堀切で遮断している。

整備された道はない。緩木城の登山道へ続く林道の途中から山腹を登って尾根伝いにアクセスした。最初もう少し上からアプローチしたが、尾根が断崖となっており降りられなかった。