正和5年(1316年)山内通資によって築かれたと云われる。 山内氏は相模国鎌倉郡山内荘発祥で源頼朝に従って功を挙げ備後国比婆郡地毘荘の地頭職を得た。
正和5年(1316年)山内首藤家の惣領通資が備後に下向して蔀山城を築き本拠とした。元享年間(1321年〜1324年)に通資は甲山城へ居城を移し、蔀山城は弟の五郎通俊に譲られた。通俊は多賀山氏を称し、多賀山内首藤家として代々蔀山城を居城とする。
大永6年(1526年)多賀山通続のとき、尼子氏から大内氏に鞍替えしたことから尼子氏によって攻められ、享禄2年(1529年)落城した。その後、安芸の毛利元就に従っていたが、天正19年(1591年)多賀山通信のとき毛利輝元によって改易となり、児玉与三郎が城主となった。
蔀山城は神野瀬川北岸の標高775.1mの蔀山山頂に築かれている。現在は公園として遊歩道が整備されている。
蔀山城の主郭部は山頂から東西に伸びた尾根にあり、西端の最高所から東へ四段の曲輪があり、三段目が一番低くなっている。この四つの曲輪が切岸も高く広く削平されており、南山腹の腰曲輪に井戸(湧水)がある。
山頂から西へ続く尾根は主郭下に堀切があり、そこから西へ伸びる細尾根も曲輪で西端に物見状の小郭がある。
山頂から北へ伸びる尾根には三条の堀切があり、北峰に小さな段曲輪を持つ北曲輪群、さらに北へ伸びる尾根に不明瞭ながら段曲輪が続き、北の鞍部の辺りまでが城域のようである。
山頂から南へ伸びる尾根は小郭はあるものの堀切はなく、そのまま麓の神社まで続いている。
蔀山の南西麓の国道432号線沿いに案内板が建っている(地図)。ここから南西山腹にある大山神社を経由して登っていく遊歩道がある。