応安2年(1369年)藤原伊周の末裔である高山三郎伊重の三男内尾三郎伊家によって築かれたのが始まりと云われる。
嘉吉年間(1441年〜1444年)には麻生氏が居城とし大内氏に従っていたが、明応7年(1498年)頃から大友氏に従うようになった。
大友館へ人質として出ていた麻生摂津守親政の嫡男七郎は、同じく人質となっていた田原親賢の子新三郎から虐待を受け続け、これに耐えきれなくなった七郎は新三郎を討ち、自らも切腹して果ててしまった。この事件をきっかけとして、永禄9年(1566年)麻生親政は大友氏に反旗を翻し高尾城に立て籠もった。これに対して大友氏は妙見嶽城主田原親賢を大将とし、光岡城主赤尾賢種、高家城主中島房直などがこれに加わり城を包囲、親政をはじめ麻生氏一族十八人が自刃して果てた。このとき次男統宣、三男乙丸が逃れたが、後に大友氏によって討ち取られ麻生氏一族は滅亡した。
高尾城は標高480mの高山山頂部と南東の峰、そしてその鞍部に遺構が残されている。
主郭は高山山頂にあり、南北に伸びた尾根に曲輪を配している。四方急峻な地形で、登山道のある南東鞍部から登る道も終始虎ロープを頼りに登っていく急坂である。 主郭のある山頂には雨乞いに用いた大きな石などが残されているが、曲輪はよく削平され、南に一段、北に長い曲輪が付いている。
山頂の南東に小高い峰があり、ここに支城が築かれている。この部分は切岸による防御のみで、西下に一段腰曲輪、周囲は帯曲輪状になっている。
本城のある山頂と支城との間の鞍部には「三つ井戸」と呼ばれる三つの穴が開いた曲輪があり、北から西側に横堀を配して北に一条竪堀を設けている。
北麓にある禅源寺が麻生氏の菩提寺である。
登山道は南西麓にあり、林道の入口に登山道の案内板が出ている。地図)