詳細不明。城主は朝夷氏と伝えられる。
藤ヶ谷城は南へ伸びた標高70mほどの山に築かれている。
南北に細長く伸びた丘陵で主郭はやや広く削平され、かつては整備されていたのが簡易ベンチなどが残されている。主郭は西に虎口状の窪みがあり西下に南北に帯曲輪が付く。主郭の北、東、南はそれぞれ堀切で遮断しており、南は二重である。東の堀切の先北東下にも堀切がある。北尾根は細尾根ながら堀切が何箇所かあり、北端は二重堀切、そこから東尾根にも一条堀切がある。
北尾根が西の県道に隣接する辺りから山によじ登って尾根伝いに主郭に南下した。主郭から西側に山道が続いていたが降りていない。