奈良時代前期(8世紀前半)と推定されている寺院跡で、童学寺の前身とする説があり童学寺跡とも呼ばれる。

童学寺の北東の緩斜面地形にあり、現在は県指定史跡となっている。昭和30年代の発掘調査で金堂跡、塔跡、西廻廊跡が確認され、金堂が西、塔が東に建つ法起寺式伽藍配置と推測されている。金堂の規模は東西約14m、南北約12mで現存する礎石は28個、塔跡は一辺10m四方で現存する礎石は塔心を含め11個である。

伽藍が小規模であることから在地豪族が氏寺として建立したものと考えられ、阿波国造墓碑の存在などから、粟凡直氏との関係が指摘されている。

石井廃寺跡は童学寺の近くの畑のなかにあり案内板が建っている。案内板の奥には塔と金堂の礎石が展示されている。