築城年代は定かではないが南北朝時代に新田義貞によって築かれたと云われる。

建武4年・延元2年(1337年)金ヶ崎城に籠っていた新田義貞は敗れて杣山城に籠った。この時、杣山城では直接北陸街道を抑えられないことから、対岸に茶臼山城を築いたとされる。

茶臼山城は日野川と奥野々川が合流する地点の南西にあり、四瀬山から北東に伸びた尾根の先端頂部に築かれている。

主郭は南の尾根を二条の堀切で断ち切って独立させ、南北に長い削平地を設けている。西下には腰曲輪が巡っているが、竪堀状の堀を数条設けて分断している。

城山の北尾根先端にある白山神社から登山道がある。