築城年代は定かではないが乳井氏によって築かれたと云われる。 乳井氏は熊野系の修験寺福王寺の別当でこの辺りにかなりの領地を持っていたとされる。
永禄8年(1565年)乳井玄蕃は大光寺城主滝本播磨重行によって暗殺された。玄蕃の子乳井大隅守建清は若年で仇を討つことができず苦心していたが、元亀2年(1571年)大浦為信が決起して津軽を席巻すると、乳井氏はこれに従って戦功を挙げ、天正3年(1575年)には父の仇である滝本重行の籠もる大光寺城も落城し、乳井建清が大光寺城主となった。
天正7年(1579年)南部に逃れていた滝本重行は、比山六郎・七郎兄弟・北畠顕則らと津軽に侵攻し、乳井茶臼館とともに南部勢に奪われたが、その後津軽勢の反撃によって六郎は討死、他の諸将敗走したという。
乳井城は乳井茶臼館・乳井古館などのある丘陵から北へ伸びた低い丘陵の先端に築かれていた。 明治20年に館跡を東西に分断するように県道19号線が建設され、その後の開発によって遺構は消滅した。以前は東西二郭で南側に二条の空堀が残っていたという。