文治2年(1186年)桑名行綱によって築かれたのが始まりとされる。

天正2年(1574年)織田信長の伊勢侵攻によって滝川一益が北伊勢を領して長島城に入城する。本能寺の変の後、天正11年(1583年)羽柴秀吉は滝川一益を攻略して、北伊勢は織田信雄の所領となり、天野景俊が城主となった。しかし、天正18年(1590年)豊臣秀吉による小田原征伐の後、織田信雄は徳川家康の旧領に転封となることを固持して下野国烏山に流罪となり、豊臣秀次の所領として一柳直盛が城主となった。この一柳氏の時代に神戸城の天守を移築したという。

文禄4年(1595年)豊臣秀次は自害させられると、氏家行広が二万二千石で入封するが関ヶ原合戦で西軍に属したため改易となる。

慶長6年(1601年)上総国大多喜より本多忠勝が十万石で入封すると、城は大きく拡張された。

・元和3年(1617年)本多忠政の時、播磨国姫路へ転封。
・元和3年(1617年)山城国伏見より(久松)松平定勝が十一万石で入封、寛初12年(1635年)定行の時、伊予国松山へ転封。
・寛初12年(1635年)美濃国大垣より(久松)松平定綱が十一万石で入封、宝永7年(1710年)定重の時、越後国高田へ転封。
・宝永7年(1710年)備後国福山より(奥平)松平忠雅が十万石で入封、文政6年(1823年)忠尭の時、武蔵国忍へ転封。
・文政6年(1823年)陸奥国白河より(久松)松平定永が十一万石で入封、以後明治に至る。