天文元年(1532年)に山室常隆によって築かれたと云われる。 山室氏は源為朝の子孫を称し山室城を居城としていた国人であったが、常隆の時に飯櫃城を築いて居城を移し、武射郡四十八ヶ村を領したという。

常隆のあとは山室氏勝そして山室光勝と三代続いたが、天正18年(1590年)光勝の時、豊臣秀吉の小田原征伐で徳川家康の家臣保科正俊の軍勢によって攻め落とされ、山室氏は滅びたという。

飯櫃城は高谷川の西岸の台地の東端に築かれており、 飯櫃集落の蓮福寺の南にある高野神社参道入口付近に石碑が建っている。この城山の北側付近は「根古屋」と呼ばれ居館があった所と見られている。

台地の上は開墾されて畑となっているが、比較的縄張りをよく残しており、空堀で区画された大きな曲輪が三つ確認できる。曲輪は南東端、それを北から西へ取り囲むような曲輪、そしてその西の曲輪である。