築城年代は定かではない。『赤松家播磨作城記』では長谷川政時による築城、『播磨鑑』では江藤(衛藤)越中守清好による築城と記される。
明応年間(1492年～1501年)頃には赤松一族の広瀬師満が城主となり、その後衛藤但馬守、天正2年(1574年)衛藤越中守清好のときに廃城になったという。
長谷山城は標高70mの長谷山に築かれている。南山麓には山陽道が通っていた。
単郭の城で北側面に畝状竪堀群2、西尾根の先端部に堀切1がある。
主郭は中央Iが一段高く南西にスロープになった虎口があり、Iを囲むようにIIが存在する。虎口の部分には岩盤が露出して石積のようになっているところがある。
曲輪IIの南西部が腰曲輪IIIに下るスロープがあり、腰曲輪IIIの北端から西麓のほうに続く山道が伸びている。この山道が折り返すあたりから、東側の北側面に畝状竪堀群2がある。先行図面では東側面までびっしり描かれているが、現状東側はわかりづらくなっており、下方には柵を設けていることから、工事の影響があるのかもしれない。
北麓の国道2号線から分岐した側道のあたりから取り付いて登った。車は東側の大門交差点の南側を少し入った所に駐車した。
最寄り駅(直線距離)