天正18年(1590年)依田康勝によって築かれた。 依田康勝は蘆田や松平、名も康寛や康貞など名乗りが多い。
康勝は武田氏の旧臣依田信蕃の二男で、徳川家康に仕えた兄依田(松平)康国が上野国石倉城攻めで討死すると家督を継いだ。天正18年(1590年)徳川家康の関東入部に従い藤岡に三万石の所領を与えら、信濃国小諸より移った。
藤岡城は家臣の清水久三郎によって縄張されたが、慶長5年(1600年)囲碁の争いから小栗三郎を刺殺してしまい改易となり廃城となった。
康勝は後に加藤康寛と名乗りをかえて越前国福井の結城秀康に仕え、子孫は福井藩士となった。
藤岡城は現在の藤岡第一小学校の地に築かれていた。 日本城郭大系に記載された縄張図では、単郭方形の城で北の東よりに北門、南の東よりに追手があり、追手は外側に馬出が描かれている。
現存する遺構は北側の土塁で「城址緑地」の看板が建っているが、藤岡城に関する案内板などは見つからない。土塁は高く立派なもので、その上が遊歩道となり校内を一周することができる。近年学校は門が閉ざされ入りづらい所が多いのだが、ここは普通に市民が散歩できるようになっている。