築城年代は定かではないが大永年間(1521年〜1528年)に佐伯惟治によって築かれたと云われる。 豊後の佐伯氏は豊後大神氏の一族で平安時代から続く名族である。
佐伯氏十代当主が佐伯惟治で、大永7年(1527年)大友義鑑から謀叛の嫌疑を掛けられ討伐軍を送られた。大友氏の討伐軍は臼杵近江守長景を大将とした二万余りの軍勢で、惟治は栂牟礼城に籠もってこれに応戦した。堅城であった栂牟礼城を攻め落とせなかった長景は一計を案じ、惟治に一時日向へ立ち退いた後、大友義鑑に申し開きをして許しを得るのが得策と説得、惟治はこの案に乗ってわずかな手勢を率いて日向へ落ちる途中、長景に通じていた土民によって討ち取られてしまった。
天正6年(1578年)耳川の合戦で大友氏は島津軍に大敗を喫し、佐伯惟教、惟真、鎮忠などが討死し、家督は惟真の子の佐伯惟定が継いだ。惟定は、天正14年(1586年)豊後に侵攻してきた島津軍を堅田合戦で退けると、朝日嶽城の守将で島津方に寝返っていた柴田紹安の居城である星河城を攻め落としてその妻子を捕縛し、翌天正15年(1587年)には島津方の土持親信が守る朝日嶽城の奪還に成功している。
文禄の役の後、主家である大友義統が除封となると、佐伯惟定もまた所領を失いこの地を去った。惟定は後に藤堂高虎に仕え、子孫は伊勢国津藩藤堂家に仕えて代々続いた。
栂牟礼城は道の駅「やよい」の東方に聳える標高223.7mの栂牟礼山山頂に築かれており、各方面から登山道が整備されている。
山頂にある南北二段の細長い曲輪が主郭Iで、さらに南に伸びた尾根には広い曲輪II、南西尾根先に曲輪III、曲輪IIの南西下に曲輪IV、南東下に曲輪Vがある。城域は広いが、まとまった曲輪はIとIIのみである。
各尾根に大規模な堀切を連続して設けているのが特徴で、いまでも容易に登り降りできないほどの規模である。
南尾根は堀切2の先に小規模な曲輪Vがあるが、東側面には大規模な畝状竪堀群3があり、下方に堀切も残る。南尾根はさらに多重堀切4を設けている。
西尾根の多重堀切+竪堀1は岩盤を大規模に遮断し、竪堀は南側のみ落としている。
主郭から北西に伸びた尾根はこの城としては小規模な堀切8、9となるが、その先に堀切10が確認できる。
登山道は蕨野、古市など各方面から付いているようだが、南西の小山田城側から登るのがわかりやすい。
国道10号線が番匠大橋北詰の番匠交差点から少し西へ進むと「佐伯市栂牟礼山村広場」への道標が出ている(地図)。ここから舗装された林道が標高150m程の所まで付いており、終点に駐車場とトイレも完備されている。栂牟礼山城へはここから休憩施設を経由して登る道が付いており、堀切や急斜面には虎ロープも張られている。
最寄り駅(直線距離)