慶長10年(1605年)寺沢広高によって築かれた。 小西行長は関ヶ原合戦で西軍に与した為、天草一帯は肥前国唐津に入部した寺沢広高の領地となった。 広高は慶長8年(1603年)より富岡城の築城を開始し慶長10年(1605年)に完成させた。

寛永14(1637年)島原の乱が勃発する。一揆勢は天草諸島へも渡り本戸合戦で三宅藤兵衛を討ち取ると富岡城へと押し寄るが、富岡城に籠城した兵は一揆勢の攻撃を撃退し、一揆勢は退却した。肥前国原城が落城してこの乱は終ったが、寺沢堅高は天草一帯を没収された。

寛永15年(1638年)備中国成羽より山崎家治が入封しすると、富岡城は改修され規模も大きくなったが、寛永18年(1641年)改修が終ると家治は讃岐国丸亀へ転封となった。

山崎氏の後は天領となっていたが、寛文4年(1664年)三河国田原より戸田忠昌が入封すると、忠昌は城の修築費用が領民の負担となるとして寛文10年(1670年)本丸と二の丸を破却して、三の丸に陣屋を築いた。 寛文11年(1671年)戸田忠昌は関東へ転封となり、天草は再び天領となって明治に至る。

現在は本丸跡に城郭風の「富岡ビジターセンター」が建てられ公園として整備されている。 麓には大手門跡や百間土手等の石垣が残る。