築城年代は定かではない。 十河氏は山田郡を拠点とした植田氏の支流の一つであり西讃の香川氏、東讃の安富氏の二大勢力には及ばなかったが、阿波の三好一族との関係が深まったことでその勢力が大きくなった。
十河景滋の子が早世したため三好長慶の弟が養子となり家督を継いだ。これが十河一存である。一存は子の義継を長慶の養子にして三好を継がせ、義賢の子存保に十河家を継がせるなど三好と十河のつながりをより深めた。
織田信長の勢力が三好に及ぶようになると、三好長治と存保はそれに対抗したが最終的には信長に降った。
長宗我部氏が四国平定の兵を進めていた時、存保は阿波国勝瑞城にあり長宗我部氏の攻撃により落城し存保は虎丸城へと退いた。十河城には三好隼人佐があり良く戦ったが最後は開城し備前へ逃れた。
羽柴秀吉による四国征伐の後、仙石秀久が讃岐へ入り、存保は二万石が与えられ再び十河城主となったが、九州征伐において戸次川合戦で討死した。
十河城は称念寺を中心として築かれていた。平城に分類されているが、南北に伸びた丘陵の上にあり、東西両側より高い位置にある。
十河城の遺構は宅地や田畑などによって殆ど消滅しているが、称念寺から北へ歩くと、一段低くなった地形があり、これが北の堀跡で土橋が道路になっている。
堀の北側に十河一存と存保の墓があるのだが、ここに近年「十河の郷」ができ飲食店とともに「十河資料館」という簡易資料館ができて十河氏に関係する展示がなされている。