築城年代は定かではないが向笠氏の代々の居城と伝えられる。
永正5年(1508年)今川氏親が伊勢新九郎を大将に三河国岩津城を攻めた際に向笠氏(無笠氏)が遠州衆の中にいる。
元亀3年(1572年)武田信玄の遠江侵攻に向笠伯耆守は武田氏に降ったが、翌天正元年(1573年)徳川家康の遠江侵攻で酒井忠次が向笠城と向笠一之宮城を攻略した。
向笠城は敷地川の西岸にあり新豊院の西背後にある山に築かれている。
新豊院の西側の山は新豊院の西側が谷間となって北と南に大きく分かれている。山の西側は土取によって大きく破壊されているので元々の地形はよくわからないが元々は北と南の山は西側で繋がっていたと思われる。
北の山は国指定史跡新豊院山古墳群がありここも城域に含まれている。南の山は緩やかな自然地形に近いもので、城跡の遺構はほとんど見あたらない。おそらく西側の土取された部分に主要部があったものと思われる。
城山の南東麓に居館があったと推測されており、「奥屋敷」、「東門」などの地名が残る。定福寺(廃寺)にあった五輪塔が新豊院に移されて残っている。