築城年代は定かではないが天文元年(1532年)匂坂筑前守六郎五郎長能によって築かれたと云われる。 匂坂氏(向坂・鷺坂とも)の出自は定かではないが藤原氏の末裔とも伝えられ、代々匂坂郷を領していた。
室町時代は今川氏に属していたが、永禄11年(1568年)徳川家康が掛川城攻略に際して匂坂吉政は徳川家康に寝返り家康より安堵状を受けている。匂坂兄弟は姉川合戦で朝倉氏の猛将真柄十郎左衛門直隆を討ち取る武功を挙げている。
匂坂城は天竜川の東岸にある豊田原台地の西端に築かれていたと云われる。 字大土居と呼ばれる地には幅3m〜4m、深さ1.5m、東西100mの堀と土塁があったと云われるが土地改良により消滅したという。
なお西下の平地には匂坂氏の居館があったといい、ここに匂坂城の石碑が建っている。