『芸藩通志』では「桜尾山 茶臼山 並に加計村にあり、上は栗栖雅楽、下は栗栖彌三郎所居、」とあり城主は栗栖彌三郎と伝えられる。
茶臼山城は旧加計町役場の北側に聳える標高310mほどの山に築かれている。
『広島県中世城館遺跡総合調査報告書』には曲輪IIの部分が茶臼山城として掲載されているが、微地形表現図でもう一段上の尾根にも曲輪Iを確認したので、合わせて茶臼山城として掲載する。
曲輪群Iは標高310m付近にあり、南北に長い曲輪I1を主郭として高い切岸を巡らせる。北下から東下にかけて浅くなっているが横堀2があり、北側に土橋がある。その外側に曲輪I2とする平場があるが切岸は甘くエッジは自然地形に近い。そこから北背後に続く尾根に堀切1がある。
I1の南下には曲輪I3があり、南東に続く尾根の片側に竪堀3を入れているが尾根を完全に遮断していない。
曲輪群IIは高低差の少ない南北二段で高い切岸が巡る。北背後は二重堀切4であるがいずれも浅い。南の尾根先端も二重堀切5のようであるが、幅広く掘り下げた中央にコブのような土壇が残っているだけで、独立した竪堀が長く伸びる構造ではない。二重堀切5のような構造は発坂城でも見ることができる。
腰曲輪II2は二重堀切5の堀底とほぼ同じ高さでわずかに竪堀6によって区画しているに過ぎない。またII1の東下も緩斜面が残るがこちらは自然地形のままのようである。
県名勝 吉水園の近くにある百句苑に上がっていく谷筋をそのまま登って行けば曲輪群IとIIの間の尾根に出る。これをそのまま登って行くと五輪山の登山道と合流するようだ。
南西の山道を下ると着天神社北側墓地に出るがこちらの道は前者よりもやや荒れていて歩きにくい。
駐車場は麓にある観光用の町営無料駐車場が利用できる。