築城年代は定かではないが海上氏によって築かれたと云われる。 海上氏は千葉氏の庶家で中島城を代々の居城とし、飯沼城はその支城と考えられている。

南北朝時代には海上筑後守師胤、海上六郎公胤。文明年間(1469年〜1487年)にも海上備中守師胤など海上氏一族が代々城主であった。

飯沼城は現在の円福寺境内付近にあったと云われるが遺構は残っていない。