杉城は岡谷集落の東背後に聳える標高510mの山に築かれている。 『広島県中世城館遺跡総合調査報告書 』ではもう一つ上の標高540m付近としているが誤りである。
主郭と副郭の二郭からなる決して大きくはない城であるが、現在でも容易に登ることができない切り立った切岸や土塁を備えた城である。
主郭は山頂部にあって小さく三段に分かれているが、ほぼ土塁でて囲んでいる。南西隅に虎口1があり、そのまま曲輪IIの南側の土塁に至る。
曲輪IIは主郭の南西下にあり、土塁囲みで西に虎口2を開く。ここからの道は少し降った所で途切れていて明確ではないが、南西下の民家のあたりに通じていたようである。
主郭背後の堀切1は鞍部を利用したものであるが、城内側は崖地形で切り立っている。南側面には畝状竪堀群2があるが、ここも石混じりの斜面で竪堀群は整然とは並ばない。
北側面には三条の竪堀があるが、竪堀3の部分は曲輪IIの土塁ともう一つの高土塁に囲まれた小空間を備え、そのまま竪堀になっている。
案内板は西の道路沿いにある「ふれあい神村センター」の建物の裏側に置かれている。
登り方は集落の人に聞くとよいだろう。北西側の山小屋の奥にある砂防ダムの手前から山に取りついて登るルートがあり一部ロープも設置されている。動物除け柵に「関係者以外立ち入り禁止」とあるが入っても良いようだ。