暦応4年・興国2年(1341年)南朝方の広沢五郎と大館右馬亮が因島に上陸して築いたのが堂崎山城と見られている。康永2年・興国4年(1343年)北朝方の小早川氏らによって攻められ落城した。

堂崎山城は外浦の地蔵院の東側にある山の先端頂部に築かれている。

山頂は削平されているが狭く切岸も明瞭ではない。東へ伸びた尾根に二条の堀切を設けて遮断しているが、堀切はともに浅く内側は不明瞭である。

外浦町にある本因坊秀策囲碁記念館を目指す。そこから秀策の墓所へ道標があり、その墓所があるのが地蔵院。地蔵院から「へんろ路」を使って北側に進んでいくとお堂があるが、その辺りから山へ通じる道がある。