築城年代は定かではない。尼子十砦の一つで、福山肥後守あるいは土居大隅守と伝えられる。
寺山城は王子神社背後の北へ伸びた丘陵の先端頂部に築かれている。
寺山城は丘陵の先端頂部に主郭を置き、北に向かって削平した段を並べただけの簡単な造りで、背後の尾根には堀切もなく、だらだらとした自然地形が続いている。あまりに小規模なので200m程尾根を南下してみたが遺構はない。
主郭から北東へ延びた尾根には元々この山上にあがる道があったようで、一部堀底道になっている。一部には竪堀のような地形もあるが、直接遺構とは関係なさそう。
西にある廿原提神社は堀尾吉晴の次女「小那姫」を祀った神社。もう少し西へ回り込むと尼子持久の墓がある。