築城年代は定かではない。加賀爪氏は藤原北家勧修寺流で、上杉修理亮政定が今川範政に猶子となって加賀爪氏を称した事に始まる。
天文16年(1547年)加賀爪泰貞は長久保の戦いで討死、その子政豊は永禄12年(1569年)徳川家康に従った。政豊の子政尚は天正12年(1584年)長久手合戦で敵兵を討ち取る戦功を挙げ、徳川家康が関東へ転封となると、これに従い、武蔵国高坂で三千石を領した。
加賀爪氏は直澄のとき、一万三千石を領して大名に列し、掛塚に陣屋を構えて掛塚となっているが後に改易となった。この地には江戸時代加賀爪氏の代官屋敷があったとされる。
加賀爪氏館は栄泉寺の南側一帯に築かれていたという。 かつては茶畑となった方形に一段小高い区画があり、堀の一部が残存していたというが、現在は宅地化されている。
北に隣接する栄泉寺には「加賀爪氏の墓」と伝えられる宝篋印塔があるとされるが、見つけることができなかった。