築城年代は定かではないが仁和年間(885年〜889年)に富山重興によって築かれたと云われる。
備前金川の松田元隆が赤松氏に与し、備前福岡荘で山名氏を攻略した功によって備前御野郡伊福郷を恩賞に得た。元隆は富山城を富山氏から奪い改修して居城とした。
永録13年(1570年)金川城松田氏が宇喜多氏に滅ぼされると富山城も接収され浮田忠家を置いた。 忠家が隠居すると、その子左京亮が継ぐが宇喜多家中騒動に巻き込まれ出奔する。 関ヶ原合戦後、宇喜多氏が滅亡すると小早川秀秋が入封し翌年富山城は廃城となりいくつかの資材が岡山城に移築された。
富山城は大安寺駅の北方に聳える標高131.6mの矢坂山に築かれている。
本丸は三角点のある最高所ではなく、ここから北へ少し降りた所に位置し、最高所は二の丸とされる。この山は東側が採石場となっており、本丸近くまで採石が進んでおり、東側は特に険しくなっている。
本丸は北に石垣が露出しており、南にも所々石垣が残っている。二の丸から南へ降ると二重の堀切があり、その南側にも曲輪があり標柱が建っている。
登山ルートはいくつかあるようだが入口が分かりづらい。今回登ったのは南東の法照寺(地図)の所からで、車両通行止めとなっている付近に車を駐め、そのまま舗装路を上っていく。すると立ち入り禁止のフェンスがあるのだが、これを入ってすぐ左へ登ると登山道がある。「富山城へ」の道標もあるので、入るのは問題ないようだ。
最寄り駅(直線距離)