築城年代は定かではないが建久年間(1190年〜1199年)頃に本田貞親によって築かれたと云われる。
元暦2年(1185年)惟宗忠久は源頼朝より伊勢国波出御厨および須可荘地頭職に任ぜられ、つらに日向国島津荘下司に任命された。この惟宗忠久が島津氏の祖となり、島津忠久とも呼ばれている。文治2年(1186年)忠久は家臣の本田貞親を下向させ、守護所として築いたのが木牟礼城で薩摩の入口にあたる山門院にあった。
島津忠久はその後、薩摩・大隅・日向の三ヶ国守護となったが、建仁3年(1203年)比企の乱によって守護職を罷免され、その後、薩摩守護のみ再任された。 その後、五代島津貞久のとき薩摩・大隅・日向の三国守護を回復し、延元4年・暦応2年(1339年)頃には碇山城を築いて守護所を移したという。 貞久は三男島津師久(島津総州家)に薩摩守護職、四男島津氏久(島津奥州家)に大隅守護職をそれぞれ譲った。
総州家三代島津守久と奥州家島津久豊は次第に争うようになり、応永29年(1422年)豊久の軍勢によって木牟礼城は落城し、守久と久林は肥前へ逃れた。永享2年(1430年)島津久林は秘かに薩摩へ戻ったが、潜伏先の真幸院で島津忠国に討たれ総州家は滅亡した。
木牟礼城は岩下川に面した低丘陵に築かれていた。 国道3号線の北側に「木牟礼城跡」と大きく掲げられた丘陵があり、ここがわずかに残された曲輪の跡という。