貞和6年・正平5年(1350年)赤尾次郎左衛門種綱によって築かれたと云われる。 赤尾氏は筑前の原田氏の一族で、足利尊氏から吉田村の地頭職に補任された。
代々大内氏に属しており、文明年間(1469年〜1487年)に吉田村を赤尾村に改めたという。
弘治2年(1556年)大友氏に降り、永禄9年(1566年)高尾城を落とし麻生氏を滅ぼした。 しかし、大内に属する土井城の佐野親重と時枝城の時枝平大夫によって攻撃され、赤尾統秀の次男行種は豊後へ逃れたが、それ以外の一族は討ち取られた。
光岡城は赤尾集落の南に聳える標高130.3mの山に築かれている。 現在は史跡公園として整備されている。
単郭の城で南北に長く、周囲に土塁と横堀を巡らせている。規模は南北140m東西80m程である。
現在公園として主郭のすぐ下まで車で登るとこができ、終点には大きな駐車場がある。
最寄り駅(直線距離)