藺牟田城は藺牟田小学校の南方数百メートルの所にあり、谷を挟んで東西二つの尾根が南へ伸びた丘陵に築かれている。谷の東側には藺牟田城、西側には藺牟田城の支城といわれる西ノ城がある。
藺牟田城は南北に伸びる比高50m程の丘陵に築かれた連郭式の城で、南北約500mの規模である。尾根の南端部の曲輪群と北尾根の曲輪群とに大別できる。
南端部の曲輪群は尾根の先端頂部を主郭として南西、南東に伸びる尾根に階段状に削平地を設けている。主郭の北背後にはL字の土塁があり、中央が櫓台になっている。その北下には東側に土塁を残して横堀状にした空堀と堀切で二重に断ち切っている。南へ降りていく道は堀底状の道になってる。
北尾根の曲輪群は深い堀切と浅い堀切で区画された曲輪が連なっている。曲輪は細尾根であることを割り引いても南曲輪群ほど丁寧に削平されておらず、一部の曲輪を除いては自然地形も残っている。北端の曲輪は北側が単なる切岸で終わっており堀切は付いていない。
北曲輪群から北へ伸びた尾根は、西ノ城から北へ伸びた尾根と合流する。この辺りが広く削平されており、それなりの切岸加工もみられることから藺牟田城と西ノ城は一体の城砦であったとも考えられる。ただ、この辺りは人工林でも良く手が入っている所で、北側から重機が通る道もあり、肝心の堀切などの遺構が見あたらないことと、西ノ城の北端の堀切が四重(あるいは六重)の堀切で、そこからやや距離があることなども考えれると、やはりこの辺りは城外と見るのが自然かもしれない。