築城年代は定かではない。
永禄年間(1558年～1570年)頃の城主は尼子の旧臣矢田七郎左衛門幸佐で、因幡武田氏に従っていたが、尼子再興軍に加担したため、元亀2年(1571年)毛利の武将山田重直によって攻め落とされた。
天正年間(1573年～1592年)には織田方の亀井氏にしたがって鹿野城に籠城していた鹿野衆が亀井氏から離反して荒神山城に楯籠もって毛利方についた。これによって織田方の鹿野城亀井氏と羽衣石城南条氏は分断されたが、天正9年(1581年)南条氏が毛利方の杉原盛重と三徳山下で戦って勝利し、そのまま荒神山城も攻略した。
荒神山城は標高466mの山に築かれている。
荒神山城は山頂に広い主郭Iがあり、北端の二重堀切を挟んで北東尾根に三段の曲輪群II、東へ伸びた支尾根に数段の段曲輪群IIIがある。
主郭は南北約150mほどの規模で削平は比較的しっかりしているが、切岸は甘く東西両側面にはなだらかな斜面が広がる。このなだらかな部分に竪堀地形が点在しているが、はっきり竪堀と認識できるのは竪堀3、4、7くらいで、畝状竪堀群5、9のあたりは自然地形かどうか悩ましい曖昧な残存状況となっている。
主郭から南へ伸びた尾根には堀切6、北尾根には二重堀切1、北端から西へ伸びた尾根は堀切2で遮断している。堀切の規模は大きく明瞭である。
主郭の中央東側に方形に突き出した地形があり虎口と思われる。この虎口は北側面から右折れで入る小規模な枡形となっており、ここから東尾根を下ると曲輪群IIIに至る。畝状竪堀群9はこの虎口を固めるように設けられている。
曲輪群IIは三段の削平地からなっているが、いずれも背後を削って削平地を広げているものの、曲輪の側面は主郭同様緩斜面の自然斜面を残す。北端には堀はなく、そのまま旧荒神社境内のほうに尾根が続く。
東尾根の曲輪群IIIも削平はしっかりしており尾根伝いに段曲輪が繋がるが、尾根先、尾根背後ともに堀はみあたらない。
特に整備された道はない。林道佐谷小畑線を北へしばらく進むと左側に鳥居と石段が見える。ここから登るとすぐに小社があるが、さらに登って行くと標高270m付近に広場があり、ここが旧荒神社らしく基壇のみ残されている。ここから尾根伝い登って行く。