慶長15年(1610年)池田輝政によって築かれたと云われる。 慶長15年(1610年)姫路藩主池田輝政の三男池田忠雄が淡路国一国を所領としたが、当初は父輝政が重臣を派遣して淡路一国を支配した。

家臣中村主殿助を遣わして淡路の国政を任せ、慶長16年(1611年)には淡路国全域の検地を実施した。慶長18年(1613年)に忠雄に支配が任されると由良城を築き、その際に岩屋城の部材を転用して廃城となった。

岩屋城は岩屋港や絵島の南にある丘陵に築かれていた。 城郭体系に掲載されている縄張図では中央が小高く本丸があり、一段下がって南北に北の丸と南の丸が描かれている。周囲の道路を一周歩いてみたが、全体が薮化しており遺構の確認は諦めた。東側に登り口らしきものはある。また西側には「殿場坂」という地名が残る。