築城年代は定かではないが南北朝時代初期に新見氏によって築かれたと云われる。 新見氏の発祥は詳らかではない。

新見氏はその後尼子氏に属したが永禄9年(1566年)頃に鶴首城主三村元親・元範に攻められ落城した。

その後、三村元範が城主となり、二の丸、三の丸などの増築が行われ松山城につぐ規模の山城となったようである。また楪城の出丸ともいわれる朝倉城に富谷大炊介、粒根城に伊勢掃部入道国寛、竹野城に三村元威、角尾城に三村元高、鳶ヶ巣城に三村親当を配し一族・重臣によって固められた。

備中兵乱によって毛利氏の攻撃を受け、天正3年(1575年)落城し三村元範は高尾の石指まで落ち延びたが多治景春によって討たれた。 その後は毛利氏の家臣今田経高、天野勝元が城主となった。

城は北の山塊から南へ伸びた山に築かれており、高梁川が東麓を流れ、西麓にはその支流があって城の南側で高梁川に合流している。備中国では松山城につぐ規模の山城とされている。

本丸は標高500mの所にあり、西へ二段、東へ一段の削平地がある。山頂の削平地はかなり広く、西側がやや高くなっている。本丸一の段の南側には石積が残っているのだが、あまり状態は良くない。本丸から北へ続く尾根は大堀切で断ち切っていたようであるが、残念ながら登山道整備よって埋められている。しかし道路を付けるために埋めた堀跡は横から見るとなんとなくその規模が分かり、本丸背後の岩の絶壁と併せて見ると背後からの進入が非常に難しかったことを伺うことができる。

主郭から南東に伸びた尾根の先の小高くなった所に二の丸があり、二の丸は地形に応じてやや弓なり状の平坦地となっている。

二の丸から南へ降りていき、南尾根の先端の小高くなった所に三の丸がある。三の丸の北側は大堀切で、三の丸には石組された井戸が残っているが石組は崩れて落ちている。

新見市内から国道180号線を鳥取・広島方面へ走っていくと、やがて国道は広島・鳥取の分岐となるが、これを鳥取方面に入る。分岐点を過ぎるとすぐに緩やかな左カーブとなり次の右カーブの手前の左側に楪城登山口への道標がある。