慶長15年(1610年)池田輝政によって築かれたと云われる。 慶長15年(1610年)姫路藩主池田輝政の三男池田忠雄が淡路国一国を所領としたが、当初は父輝政が重臣を派遣して淡路一国を支配した。
家臣中村主殿助を遣わして淡路の国政を任せ、慶長16年(1611年)には淡路国全域の検地を実施した。慶長18年(1613年)に忠雄に支配が任されると由良城を築き、その際に岩屋城の部材を転用して廃城となった。
岩屋城は岩屋港や絵島の南にある丘陵に築かれていた。 城郭体系に掲載されている縄張図では中央が小高く本丸があり、一段下がって南北に北の丸と南の丸が描かれている。
現状山上は荒廃して藪化しており、後世の改変も激しく当時の縄張を復元するのは難しい。西側には「殿場坂」という地名が残る。