正慶2年(1333年)楢崎豊武によって築かれたと云われる。 楢崎氏は湯原氏の庶流で湯原親王の後裔雅楽頭豊信の末裔である。大和国宇多郡を領した宇多加賀守豊武が足利尊氏に属して功を挙げ、正慶2年(1333年)に備後国蘆田郡久佐の地頭職となり楢崎山に居住して楢崎氏を称したことに始まるという。

楢崎氏は楢崎城を居城として代々続き、楢崎豊景のとき毛利氏に属した。 永禄元年(1558年)毛利氏が石見国温湯城の小笠原長雄を攻めた際には、楢崎豊景・信景父子は小早川隆景の指揮下で温湯城の後詰めにきた尼子晴久を押さえた。その後も代々毛利氏に従ったが関ヶ原合戦で敗れ、毛利氏が防長二ヶ国に減封となると、毛利に従い移った。

楢崎城は河佐駅の東に聳える標高279mの山に築かれており、山頂には現在神社が鎮座している。芦田川はこの城山の南麓から東、そして北側へと大きく蛇行して流れており、おそらく昔の道はこの城の北西の尾根上を峠として通っていたものと推測される。

山頂の主郭部には神社が祀られており、その横に楢崎山城の石碑が建っている。神社の境内となっているので城の遺構かどうかは明確ではないが、低い石積の段が北側にあり、南が一段低く南西隅に現在の参道の入口があり、つづら道が西へ降りている。石積は東へ向かう腰曲輪の部分や帯曲輪か犬走のような通路状の所にも所々残っている。

主郭から北西の尾根には連続堀切で遮断され、南側には通路の下側に畝状竪堀群、東尾根も堀切で遮断している。

登山口付近にある安全寺には楢崎氏由来の宝篋印塔や五輪塔群が残っている。

河佐駅付近から東の山上を見ると建物が見える。少し左下に薄緑色の屋根がありそれが安全寺。登山道は車道から安全寺の境内に曲がる所に北側の奥へと入って行く細い歩道がある。この歩道を歩いて行くと突き当たりが丁字路になるので、それを右へ曲がる。あとは道なりに登っていくと峠の堀切に至る。