築城年代は定かではない。国人河山氏の居城ではじめ尼子氏に属していたが、永禄5年(1562年)頃に尼子氏を離反して毛利氏に属した。

永禄5年(1562年)頃から西伯耆では尼子氏と毛利氏によって戦いが繰り広げられ、永禄6年(1563年)には備後国神辺城主であった杉原盛重が日野から尾高城に入り、山田満重が河岡城に入っている。永禄7年(1563年)には尼子の軍勢が河岡城の外城の兵粮米を焼くなど攻め寄せているが、同年尼子方の手間要害・江美城などが落城して尼子氏の勢力は西伯耆から一掃された。

河岡城は御崎神社の辺りにあったという。現在は圃場整備によって遺構は残っていない。