築城年代は定かではないが天正年間(1573年〜1592年)初期の頃に津軽為信によって築かれたと云われる。

天正7年(1579年)南部に逃れていた大光寺城主滝本重行は、比山六郎・七郎兄弟・北畠顕則らと津軽に侵攻した際、茶臼館には出町豊前が守備していたが、多勢に無勢で館を捨てて逃れた。南部勢は古館・乳井城も落として六羽川まで進軍し津軽勢と戦ったが敗れ、六郎は討死、他の諸将は敗走して南部に逃れた。この時、比山勢の籠もっていた茶臼館は津軽の将森岡信元によって攻められ落城した。 また激しい乱戦となり津軽軍は中央突破され、津軽為信も危うくなったが、身代わりとなった田中太郎五郎吉祥が全身に銃弾を浴びる壮絶な討死により九死に一生を得ている。

乳井茶臼館は東北自動車道大鰐弘前ICのちょうど東側にある丘陵に築かれている。 この丘陵は全体が果樹園となっているが、本丸の山頂部分には東屋があり茶臼館跡の看板が掲げられている。

本丸は先端頂部で周囲は段々に造成されている。南東に伸びる尾根にあるのが二の丸という。

県道19号線(新道ができつつあるので旧道)沿いに盛祥院があり、その隣に茶臼館へ登る道がある。