築城年代は定かではない。城主は小坂氏(尾坂とも)や河田紀伊守陸長(隆長とも)などが伝えられる。
元亀元年(1570年)尼子の残党が備中を席巻すると、尼子方は杉山城にいた細川下野守通薫に尼子に味方するように使者を立てたが、通薫はこれを拒否して尼子勢と戦った。しかし、これを撃退することはできず、幸山城へ逃れたという。一般的に、細川通薫は青佐山城、寄島竜王山城、鴨山城と居城を移したとされるが、杉山城にも一時在城していたのであろうか。
杉山城は標高226mの杉山に築かれており、現在は登山道が整備されている。
主郭は山頂にあり山腹にある軍神社の奥の院がある。山頂一帯は石垣のように積み上がった天然の岩が多数露出しているが、人工の石積も点在している。
主郭の北側は採石によって大きく削られているが、北尾根に大堀切が一条ある。主郭から南へ伸びた尾根が二郭とされ、途中に浅い堀切があるが、このあたりは曲輪としても不明瞭な部分が多い。主郭から東に下ると腰曲輪の下に三条の竪堀がある。
登山道はいくつかあるが、軍神社から登るのがわかりやすい。駐車場は県道沿いにスペースが用意されており、案内板もある。
最寄り駅(直線距離)