承平2年(932年)平将門によって築かれた花岡館がその前身と云われる。
寛仁2年(1018年)足利成行が再建して中泉城と称し、一族の佐貫太郎重光を置いた。 後に足利俊綱の三男忠行が城主となり、房行、房綱と代々続いた。
その後、藤姓足利氏の一族が城主となって藤岡氏を称し代々続いたが、天正5年(1577年)藤岡佐渡守清房のとき、唐沢山城主佐野宗綱との争いに敗れて自刃した。藤岡氏の後は家老の茂呂弾正久重が城主となったが、天正18年(1590年)小田原北条氏と運命をともにして廃城となった。
藤岡城は東武日光線藤岡駅の北西側一帯に築かれていたという。 台地の西端にある三所神社付近が本丸で、そこから東に二の丸、三の丸があったようであるが、現在は宅地や田畑などになって遺構はほとんど残っていないという。本丸跡である三所神社に案内板が設置されている。