築城年代は定かではない。城主ははじめ吉見某であったが、後に陶氏の家臣江良氏の城となったという。
藤掛山城は錦川と渋川の間に南北に伸びた山に築かれている。
主郭は山頂にあり、南北に伸びた尾根に堀切で区画した曲輪群が連なり、主郭南端から西へ伸びた尾根にも曲輪vがある。
主郭は一段高く、東から南下に掛けて腰曲輪があり、南西端がスロープとなっているが、東と南の腰曲輪もスロープで結ばれている。
主郭から北へ伸びた尾根は堀切5を経て曲輪ivとなる。曲輪ivは低く三段になっており切岸もしっかりした曲輪で、北は大きく下って堀切6、その先は自然尾根であるが、やや離れたところに堀切7がある。
主郭から南へ伸びた尾根は大きく下ったところに堀切1と堀切2で区画された曲輪iiがある。堀切2の脇には竪堀が一条付いている。
南端は曲輪iiiで尾根伝いに小さく段々となって続いている。南西側の尾根先は堀3で、二重堀切と竪堀が一条ある。南尾根は大きく下ったところに竪堀状の溝があり、その下方に土橋が架かる堀切4がある。この堀切が城内で最も大きい。
整備された道はないが、尾根上に上がれば尾根道がある。西側の林道から谷沿いに入る道があるので、そこから取り付いた。