築城年代は定かではないが鎌倉時代後期に二階堂行朝によって築かれてたと云われる。初期の須賀川城と考えられ、戦国時代には須賀川城の詰城として使用されたと見られている。
天正17年(1589年)伊達政宗によって須賀川城は落城し、須賀川二階堂氏は滅亡、翌天正18年(1590年)奥州仕置によって蒲生氏郷の所領となった。その後、蒲生氏に替わって植上杉景勝が会津に入封すると、家臣栗田刑部が城主となった。
岩瀬山城は翠ヶ丘公園となって整備されている。岩瀬山城は本丸・北の丸・南館・五老山・妙見山・守谷館で構成されている。
本丸には愛宕神社が祀られており、周囲に土塁が巡らされ南に虎口が開き、横矢掛の張り出しや屈折が見られる。この本丸が一番明瞭に遺構が残っている。