『芸藩通志』では「桜尾山 茶臼山 並に加計村にあり、上は栗栖雅楽、下は栗栖彌三郎所居、」とあり城主は栗栖彌三郎と伝えられる。
桜尾城は加計中学校の西に聳える標高378mの山に築かれており、登山道が整備されている。
山頂部に主郭I1,I2があり小さな段差で区画されている。北下には曲輪IIがあり、この三段の削平が丁寧で、周囲を高い切岸で囲んである。
主郭の西背後には二重堀切があり、唯一明瞭な堀である。南西下には「馬場」と呼ばれるところがあるが、現状では山道による平坦面としか捉えられない。
主郭部の高い切岸の下方に曲輪III、IV、Vがある。いずれも傾斜しているが曲輪としては確保されていたと思われる。東の尾根先側は曲輪IIIの下方の山道が堀切部分を転用した可能性が考えられるが、他は確認できない。竪堀状地形もいくつかあるが城の遺構かどうかは明確ではない。
登口は中学校の南東隅のあたりにある「火の用心」の垂れ幕の奥に見える山腹に案内板が少し見えている。垂れ幕の脇の道を山側に突き進んでいけば朽ちかけた道標がある。登山道はあまり使われていないようで、倒木や雑木が伸びている。
近くに深山峡見学用の駐車場があるので利用できる。