築城年代は定かではない。大永年間(1521年〜1528年)に東郷三河守忠光が籠もったとも伝えられる。

永禄年間(1558年〜1570年)の城主は多久弾正義敷で、毛利氏に攻められたさいには、檜を切り倒して要所を塞ぎ一度は守ったが、再び攻められたさいには檜に火を放ち防ごうとするも果たせず落城したという。

元亀2年(1571年)尼子勝久が尼子氏再興の兵を挙げると、毛利氏はこの桧ヶ仙城を改修してこれにあたっている。

桧ヶ仙城は標高333.3mの「檜山富士」とも呼ばれる檜ヶ仙に築かれている。 山上はちょうどＹ字形で、その中心が主郭であるが、最高所は北西尾根にあり三角点もある。

主郭を中心として西北西、北東、南の三方に伸びる尾根に曲輪を配している。 南尾根は三段の曲輪で東側に通路を兼ねた土塁がある。 北尾根も三段程度の段が続き、北端が一段高くなってその下に一条の堀切が残る。 西北西の尾根は北側にやや弓形になって土塁が付き、その先に広い削平地があり三角点がある。北西端は一段低く段がある。

主郭は特に何の変哲もないが、西尾根と南尾根、西尾根と北尾根の曲輪を連絡する通路が主郭下にあり、主郭を介さずに行き来できる。大系の縄張図では北側の谷に二つの井戸跡が残るとあるが、井戸跡は確認できなかった。

登山口の案内は全く出ていないが、整備された登山道がある。 檜山小学校から北西の谷に沿って進んで行くと農免道をくぐり、更に「別所谷」へと続く。そのまま道なりに進んで行くとやがて民家がいったん無くなるが、その先に数件の民家があらわれ、現在はそこで行き止まりとなる。この終点に車を駐め、上にある民家の方に登っていくと、一番奥の民家の左側に田畑がある。このあぜ道を進むと山道があるので、それを道なりにしばらくいくと、折り返して尾根上に通じる道がある。この道が山頂まで続いている。 登山口の地図