詳細不明。南にある五十嵐館の詰城と推測されている。

飯田城は飯田小学校の北側にあり、低い台地が西へ舌状に伸びた地形にあり、現在は五十嵐神社の境内になっている。

神社の境内となっていることから不明瞭な部分が多いが、神社の背後には高土塁と屈折した空堀が残っている。境内は西に向かって数段の平地が続いている。

飯田小学校の北側、県道409号線側に神社の駐車場がある。