築城年代は定かではない。元久3年(1206年)頃には員弁三郎行綱が居城したという。
永禄年間(1558年〜1570年)には大木安芸守・大木舎人助・大炊(大木)駿河守が城主で北伊勢四十八家の一つ。織田信長の北伊勢侵攻に降った。天正4年(1576年)滝川一益に金井城主種付千代次秀信とともに長島城へ出頭を命ぜられたが、先に入城した秀信が謀殺されたことを知ると西国へ逃れ、その子孫は細川氏に仕えたという。
大木城は員弁川に面した河岸丘陵に築かれていた。本丸は河岸丘陵に面しており東側に土塁と堀を設けている。