築城年代は定かではないが永正年間(1504年〜1521年)に蒲池志摩守鑑広によって築かれたと云われる。 山下城を居城とした蒲池氏は柳河城主蒲池治久の次男の親広が、永正年間(1504年〜1521年)に大友親治より上妻郡に五百四十町の所領を得て別家を興して山下村に移り、子の鑑広の代に山下城を築いたとされる。

天正6年(1578年)耳川合戦で大友氏が島津氏に敗れると、柳河城主蒲池鎮並は龍造寺氏に属した。天正7年(1579年)龍造寺氏が筑後に侵攻すると鷹尾城主田尻鑑種は降伏するなど筑後の大友方が次々龍造寺氏に切り崩されていく中、主蒲池鑑広は山下城に籠城して抵抗した。しかし、大友氏の来援なく鑑広も龍造寺氏に降った。

天正15年(1587年)豊臣秀吉の九州征伐の後は筑紫広門が一万八千石を領して山下城を居城とした。広門は関ヶ原合戦で西軍に属して大津城攻めに参陣して改易となり、廃城となった。

山下城は白木川が矢部川に合流する地点の南側にある標高141mの山頂に築かれている。

山頂の北端に山下城の石碑が建てられている。山上は北端から西へ向かい緩やかに南に伸びている。周囲は果樹園となっているが、南端部と北西に伸びた尾根に堀切が残っている。

山には入る林道がいくつかありますが、鞍懸公民館から続く林道を登っていくと山頂にたどり着けます。