築城年代は定かではないが木曽義康によって築かれた。 木曽氏は清和源氏木曽義仲の末裔とも云われるが、諸説あり定かではない。
天文11年(1542年)義康は信濃の豪族、村上・諏訪・小笠原などとともに、甲斐国武田氏の戦ったが敗れ、天文24年(1555年)武田氏に降った。 木曽義昌は武田信玄の娘を娶っていたが、武田勝頼の時代になると織田信長に通じ、天正10年(1582年)勝頼が侵攻すると、信長に援軍を請い鳥居峠で破った。
天正18年(1590年)下総国阿知戸に一万石で移ったが、慶長5年(1600年)木曽義利の時、叔父義豊を殺したことで改易となった。