築城年代は定かではない。飯田城に移る前の坂西氏の居城と伝えられる。
坂西氏の出自については詳らかではなく、小笠原氏の一族とも云われるが定かではない。応永7年(1400年)の大塔合戦では小笠原氏に従った伊那衆の筆頭として坂西氏の名が記されている。
愛宕城は河岸段丘が半島状に東へ突きだした丘陵の上に築かれており、西を除く三方は急峻な地形となっている。
現在は愛宕稲荷神社が鎮座しており、飯田市指定天然記念物の愛宕稲荷神社清秀桜の案内板には建保年間(1213年〜1219年)に飯坂城(愛宕城)跡地に地蔵寺が建てられ、仁治元年(1240年)に清秀法印が植えたとあり、愛宕城に触れている。