慶長10年(1605年)寺沢広高によって築かれた。 天草一帯は宇土城主の小西行長の所領であったが、関ヶ原合戦によって改易となり、肥前国唐津に入部した寺沢広高の所領となった。 広高は慶長8年(1603年)より富岡城の築城を開始し慶長10年(1605年)に完成させた。

寛永14(1637年)島原の乱が勃発、天草でも一揆が蜂起する。富岡城代であった三宅藤兵衛は一揆勢と本戸合戦で戦って敗れ討死する。勢いに乗じた一揆勢は富岡城に攻め寄せ、落城寸前まで攻め込まれたがなんとか持ちこたえ、江戸幕府が派遣した援軍が来るとの知らせによって一揆勢は囲みを解いて島原半島へ渡り原城に籠城した。島原の乱は鎮圧されたが、寺沢氏は天草の所領を失った。

寛永15年(1638年)備中国成羽より山崎家治が入封すると、百間土手を設けて袋池を作るなど城は改修され規模も大きくなったが、寛永18年(1641年)改修が終ると家治は讃岐国丸亀へ転封となった。

寛永18年(1641年)からは天領となり初代代官を鈴木重成が務めた。重成は四万二千石という石高は過大で、それが一揆の一因であったことを痛感、幕府に石高半減の陳情を続けた。重成は承応2年(1653年)江戸で没しているが、一説に幕府への講義のために自刃したとも伝えられる。天草の石高は重成の子重辰の時代に二万一千石へと半減された。

寛文4年(1664年)三河国田原より戸田忠昌が入封すると、忠昌は城の修築費用が領民の負担となるとして寛文10年(1670年)本丸と二の丸を破却して、三の丸に陣屋を築いた。寛文11年(1671年)戸田忠昌は関東へ転封となり、天草は再び天領となると、陣屋がそのまま代官所となって明治まで続いた。

富岡城は海へ突き出した半島の山に築かれており、現在は本丸に「熊本県富岡ビジターセンター」が建てられ公園として整備されている。

富岡城は半島として突き出した地形を利用したもので、大手門は城から少し離れた半島が一番狭くなる地点に設けられており、現在もそこに枡形の石垣が残っている。また別の石垣も復元工事していた。

富岡城は山頂の最高所に本丸を置き、北東へ向かって二の丸、出丸を設け、二の丸の南東下に三の丸があった。追手門は現在鈴木重成代官像のある所で、そこから続く百間土手(百間石垣)は山崎氏の時代に築かれたもので、袋池は内堀の役目を果たした。

破却されていた山頂部の本丸、二の丸は石垣の復元が進み、櫓なども復元されている。本丸には天守はなく、多聞櫓と隅櫓、城門で構成されていたが、これらも復元されている。

近くの瑞林寺に代官所の門が移築現存している。

二の丸の北下に駐車場があり、そこまで車で行くことができる。