天平勝宝8年(756年)大宰大弐の吉備真備によって築城がはじめられ、工事の途中で佐伯今毛人に引き継がれ、神護景雲2年(768年)に完成した。朝鮮半島の新羅への備えとして築かれた古代山城であるが、実戦では使用されることなく荒廃し、中世には原田氏の居城となる高祖山城が築かれた。
怡土城は高祖山から北へ伸びた尾根から西麓に至る部分を城域としており、遺構は山上にある第一望楼から第五望楼、一の坂礎石群、麓の土塁、門跡などである。
第一望楼は高祖山から北へ伸びた標高300m付近にあり、そこから西の尾根伝いに第二望楼、第三望楼、第四望楼、第五望楼と続き、礎石などがある。高祖山山頂は中世高祖山城であるが、この辺りからも古代の瓦が出土しており、怡土城の望楼があったと考えられている。
登山道は高祖神社から高祖山を経由して第五望楼へと歩くことが可能であるが、高祖神社から登ると急坂を登ることとなるので、逆に第五望楼から登る方が楽である。この場合、車は高来寺公民館に駐車可能である。
最寄り駅(直線距離)