築城年代は定かではないが藤沢氏によって築かれた。 藤沢氏は信濃国伊那郡藤沢発祥で千野光親の子親貞が藤沢に住んで藤沢氏を名乗ったことに始まるという。
天文14年(1545年)武田信玄によって攻められ、当主藤沢頼親は城にたて籠って下伊那衆の来援を待ったが、籠城50日にして舎弟権次郎を人質として開城したという。
藤沢頼親はその後、流浪して京の三好長慶に仕えたが、後に信濃へ戻り田中城を築く。しかし、天正10年(1582年)保科正之によって攻められ自刃し、藤沢氏は滅亡した。
城は天竜川の東岸の河岸段丘に築かれ、北は鎌倉沢、南は南沢の窪地によって東側以外は切り立った台地の上に築かれている。
現在は城の北側にある「北城」、「主郭」、「二の郭」周辺が城址として整備されている。「南城」より南東方向にも曲輪があったようだが、現在は農地となっている。
主郭は北城、二の郭より一段高くなっており、土塁状の土盛が残る。主郭から空堀を隔てて北城があり、かなりの広さがある。ここの空堀は後世に埋められたのか、幅が広いものの緩やかな曲線となっている。