築城年代は定かではないが平安時代末期頃に大前氏あるいは祁答院渋谷氏によって築かれたと云われる。
祁答院渋谷氏の一族の河内守延重あるいは重基が藺牟田を領して藺牟田氏を称し代々続いたという。文明17年(1485年)島津修理亮忠廉が藺牟田城を攻め、祁答院渋谷氏一族の久富木又太郎、大村太郎らが援軍を出したが敗れて藺牟田城は落城した。
藺牟田城は藺牟田小学校の南方数百メートルの所にあり、谷を挟んで東西二つの尾根が南へ伸びた丘陵に築かれている。谷の東側には藺牟田城、西側には藺牟田城の支城といわれる西ノ城がある。
藺牟田城は南北に伸びる比高50m程の丘陵に築かれた連郭式の城で、南北約500mの規模である。尾根の南端部の曲輪群と北尾根の曲輪群とに大別できる。
南端部の曲輪群は尾根の先端頂部を主郭として南西、南東に伸びる尾根に階段状に削平地を設けている。主郭の北背後にはｌ字の土塁があり、中央が櫓台になっている。その北下には東側に土塁を残して横堀状にした空堀と堀切で二重に断ち切っている。南へ降りていく道は堀底状の道になってる。
北尾根の曲輪群は深い堀切と浅い堀切で区画された曲輪が連なっている。曲輪は細尾根であることを割り引いても南曲輪群ほど丁寧に削平されておらず、一部の曲輪を除いては自然地形も残っている。北端の曲輪は北側が単なる切岸で終わっており堀切は付いていない。
北曲輪群から北へ伸びた尾根は、西ノ城から北へ伸びた尾根と合流する。この辺りが広く削平されており、それなりの切岸加工もみられることから藺牟田城と西ノ城は一体の城砦であったとも考えられる。ただ、この辺りは人工林でも良く手が入っている所で、北側から重機が通る道もあり、肝心の堀切などの遺構が見あたらないことと、西ノ城の北端の堀切が四重(あるいは六重)の堀切で、そこからやや距離があることなども考えれると、やはりこの辺りは城外と見るのが自然かもしれない。
一番簡単に山に入る道は県道405号線沿いにある林道の入口(地図)で、ちょうど藺牟田城と西ノ城の合流地点に出ますが、地形を良く見ないと藺牟田城方面に行くのが難しいかもしれません。南尾根の先端から入る道は南方の華厳寺跡(地図)の近くにあります。