永享11年(1439年)一色刑部少輔時家によって築かれたと云われる。 一色時家は関東公方足利持氏の家臣関東一色氏で、一色持家と同一人物とみられている。
永享の乱により関東公方足利持氏と幕府が対立すると、一色時家は持氏の命により一色直兼とともに上野国平井城の関東管領上杉憲実を討伐へと向かったが敗れた。 一色直兼は自刃し、一色時家は同族の三河守護職一色氏を頼って三河へ逃れた。この後、築いたのが一色城という。
文明9年(1477年)一色時家は家臣の波多野全慶によって討たれ、波多野全慶が城主となるが、明応2年(1493年)には波多野全慶も同じく時家の家臣であった牧野古白に灰塚野で討たれた。
明応2年(1493年)に一色城へ移った牧野古白は、永正2年(1505年)に吉田城を築いて居城を移し、一色城には瀬木城から牧野成勝が移った。その後、成勝は新城を築いて牛久保城と改称し、一色城は廃城となった。
一色城は豊川により河岸段丘の東端に位置し、現在の大聖寺一帯に築かれていた。 大聖寺の境内には今川義元の胴塚とされる墓所があり、隣には一色時家の墓もある。 遺構はその背後にある土塁と東方にある宅地内にも一部土塁が残るという。