築城年代は定かではないが平安時代末期に多賀谷氏によって築かれたと云われる。 多賀谷氏は埼玉郡騎西荘多賀谷郷発祥で武蔵七党の一つ野与党に属した。
建久元年(1190年)源頼朝が上洛した際には、多加谷小三郎の名が残り多賀谷氏の初見とされる。寛正年間(1460年〜1466年)頃に多賀谷氏家は常陸国下妻城へ移り、結城氏の家臣となった。
多賀谷氏館は現在の大福寺の境内に築かれていたという。水田の中に境内がポツンとあるが、館の遺構はない。
境内には鎌倉時代前半の天福2年(1234年)の板碑などが残されている。