築城年代は定かではないが天正年間に毛利元清によって築かれた。 元清は毛利氏が備中国を手中に治めると猿掛城を居城としたが天正10年(1582年)の高松の役の後、備中国の治政の為、茶臼山城を築いた。

城は茶臼山とその麓を利用した平山城で東の麓には水堀を巡らし小田川に接していた。 現在は公園として整備され東と北側からは車で登ることができる。 山頂にある本丸の南西側には1m程の石積みが残っており他にも若干の石積みが確認できる。