築城年代は定かではない。 城主は甲山城主山内首藤氏の一族の居城と伝える。

山内首藤文書には備後国津田郷地頭職として、建武3年に(1336年)京都三条河原にて足利尊氏に従って戦死した山内三郎通継、延文2年頃の山内兵庫允通氏などの名が記されている。

茶臼城は標高399.8m、比高30m程の茶臼山に築かれている。現在山頂には神社が鎮座しており、南東側から参道が設けられており、城跡の一部が破壊されている。

茶臼城は山頂中央部が小高く主郭となり、南東側に土塁が付いている。一段下がって周囲を帯曲輪が巡る。東下は横堀状に掘りきり、南斜面には畝状竪堀群が取り巻いている。 案内板はないが、参道の入口に石碑が建っている。

南東側の車道から神社に向かう参道が付いている。