築城年代は定かではない。一色氏の家臣高屋氏が城主であった。
天正10年(1582年)細川藤孝によって攻められ、下岡城には城主高屋駿河守良閑、遠江守父子をはじめ、木津城主赤尾但馬守、高橋城主今井能世次郎、公庄城主森忠左衛門らが守っていたが落城したという。
下岡城は高天山から東へ派生した山の一つ標高130m程の山に築かれている。
下岡城は山頂部に主郭があるが、中央が一段小高く、その周囲をぐるりと取り囲むように曲輪があり、北東側にスロープが付いている。ここから北東下に一段の腰曲輪、北下には巨大な井戸のある腰曲輪が配されている。この曲輪群全体を高い切岸が巡り、西へ続く尾根は巨大な堀切で遮断、そのまま北側へ竪堀となり、北山腹には横堀と竪堀、さらに虎口らしき地形も残る。南東へ伸びた尾根の部分には土橋を残して竪堀を落とした出丸のようなものがある。
谷を挟んだ北側にある尾崎神社背後の尾根にも削平地と堀切、土橋らしき地形が確認できるが、城跡かどうかの判断は難しい。
案内板は下岡区公会堂から西へ進んだ所にある小公園に設置されている。登山道はなく、景勝高天山登山口という道標から入ると尾崎神社があり、その神社の背後の尾根を登っていくのが簡単。谷を挟んで南側が城域となる。
最寄り駅(直線距離)