寛文2年(1662年)五島盛清によって築かれた。 盛清は福江藩二代五島盛利の三男で、兄の三代藩主盛次が病弱であったことからその政務を代行し、没後は幼小で家督を継いだ盛勝の後見人として活躍、その功績によって三千石を分与され旗本交代寄合となった。
富江領は初代盛清から代々続いたが八代盛明のとき、朝廷より福江藩に合併して蔵米三千国を新たに支給するとの指示が降った。これに反発した領民たちが一揆を起こすなどの富江騒動が勃発、その結果、五島盛明は謹慎の後、禄百三十石の只の士族となり、富江藩は消滅した。
富江陣屋は現在の富江中学校の北にある運動場の辺りに築かれていた。 陣屋の大手は東側にあり、大手門は現在の実相寺に移築されたが、部材は新調されたようである。陣屋石蔵が北側の民家の裏側に残っており、これが現存する唯一の遺構のようである。
西にある実相寺に大手門が移築され、その西にある瑞雲寺が富江藩五島家の菩提寺で累代の墓が残されている。
石蔵(現存 倉庫)
大手門(移築 城門)
富江中学校の校門脇に案内板が設置されている。