詳細不明。『三田市史』によれば、南北朝時代に南朝方勢力の拠点の一つであったが、観応元年(1350年)には足利尊氏が瓦林平次郎に香下寺城の警固を命じており、この頃には北朝方の支配下となっていた。
香下城は香下寺の東に聳える標高524mの羽束山とその南の甚五郎山一帯に築かれているおり、現在は登山道が整備されている。
山頂部は羽束神社から南へ細長く伸びた平場があり、南端は崖地形となる。その北下に観音堂のある平場があり、観音堂の北側に堀切を隔て分厚い土塁状地形の残る曲輪が存在する。北は細尾根となるが、一条の小さな堀切がある。
南にある甚五郎山とその東尾根にも遺構があるが、それは香下城(甚五郎山)を参照。
香下寺に駐車場があり、そこから整備された登山道が山頂まで続いている。
最寄り駅(直線距離)