築城年代は定かではない。尼子十砦の一つで足立右馬允の居城と伝えられる。
高尾城は市場集落にある金龍山城福寺の背後に聳える標高270m程の山に築かれている。 この城福寺には足立右馬允の位牌が残されているといい、山門脇に「高尾城跡」の石碑が建っている。
主郭は山頂にあり周囲を切岸加工して一段高くなっている。西側に堀切があり、その先に小さな段が付く。
主郭から南へ伸びた尾根には堀切で区画された曲輪が連なる。主郭の南下に二重堀切があり、その先に北端部が櫓台状になった曲輪、更に堀切、曲輪、堀切と続き、南端は北の堀切に面した部分を高土塁として削り残した平段となっている。
主郭から北東へ続く尾根には南側に高土塁を設けた曲輪が続いているのだが、この部分は防御のためのものというよりは駐屯地のような役割であろうか。
城福寺の境内から遊歩道が主郭まで付いている。