築城年代は定かではないが伊東氏の庶流である安子島氏によって築かれたと云われる。
天正17年(1589年)葦名氏に属していた安子島治部大輔祐高は、伊達政宗の軍勢に攻められ安子島城に籠城したが、城内まで攻め込まれ開城して会津へ逃れた。
豊臣秀吉の奥州仕置きにより蒲生氏郷が会津へ入封すると、その家臣蒲生郷成が安子島城代となった。
蒲生氏に変わって上杉景勝が会津へ入るとその支城として浅香城が取り立てられたが、これが安子島城ではないかと推測されている。
安子島城は安子ヶ島駅の西側一帯に築かれていたという。発掘調査がなされ、鎌倉時代の遺物も検出されたようである。現状では線路の北側にある農道沿いに城石碑があるのみで、明瞭な遺構は見あたらない。