築城年代は定かではないが鎌倉時代に吉松播磨守光義によって築かれたと云われる。 吉松氏は源義賢の子淡路冠者義久らが平教経と戦って戦死した功により、義久の子松若が源頼朝によって秦泉寺の領主となり、播磨守光義と名乗ったことにはじまるという。

その後、吉松氏は高知平野に進出した本山城主本山氏に属していたが、弘治2年(1556年)に長宗我部国親、永禄3年(1560年)には長宗我部元親の攻撃を受けて城主吉松掃部頭茂景は降伏した。

茂景は万々城へ移され、替わって中島大和が城主となり、秦泉寺大和と称した。「土佐軍記」によればこの秦泉寺大和は天正16年(1588年)に農民の私闘のことから元親の怒りに触れ、秦泉寺大和・掃部父子はともに滅ぼされたという。一方「古城伝承記」には秦泉寺城は天正16年には「荒城」と記されている。

秦泉寺城は標高102mの山頂に築かれている。 中央を空堀で区画した南北二郭で構成され、南が主郭で社が祀られている。 南北の尾根には多重の堀切によって遮断し、県道に面した西側には横堀と竪堀を配している。