築城年代は定かではないが戦国時代に飯田与三左衛門によって築かれたと云われる。 飯田氏は飯田を領した土豪で遊佐続光の被官であった。
天正4年(1576年)上杉謙信の家臣長景連が海路侵攻した際にはそれに呼応し、正院川尻城を築いた長景連に従った。 天正7年(1579年)遊佐景隆・三宅長盛らによって上杉氏の勢力が能登より駆逐された時、飯田城も落城し飯田与三左衛門は越後へ逃れたと考えられている。
城は飯田小学校の東にある南へ伸びた丘陵のに築かれている。 北尾根は堀切で断ち切られ、山頂には南北二郭の曲輪があり、中央に空堀で区切られている。北西の緩斜面には畝状竪堀群があり、状態は良好である。
山頂から南へ伸びる尾根にも曲輪と堀切が残っているようであるが、ここは薮が深く確認できていない。
道はなさそうである。飯田小学校の前にある御堂付近からよじ登ると畝状竪堀群に達する。