暦応2年(1339年)大井三樹伊予守宰によって築かれたと云われ、 暦応2年(1339年)雁南荘地頭職を得て築き居城としたのがはじまりとされる。
永和元年(1375年)宰の五男雁南右衛門四郎勇が家督を継ぎ、赤松氏に従った。 勇の長子の雁南刑部太郎長は享徳3年(1454年)に木村源太郎を称し、康正元年(1455年)に勇が討死した後は石弾城を守ったが、長禄3年(1459年)山名宗全によって攻められ、源太郎は討死し落城した。
石弾城は泊神社一帯に築かれていた。遺構はないようだが、境内に標柱と案内板が設置されている。
泊神社は宮本武蔵の養子伊織が小倉藩家老となった後に、武蔵の供養の意を込み寄進して全社殿一式を再建し、宮本家の氏神となったのだという。