築城年代は定かではないが甘利行忠によって築かれた。 甘利氏は甲斐国巨摩郡甘利荘発祥で、武田信義の子、一条忠頼の次男行忠が甘利荘に住んで甘利氏を名乗ったことに始まる。
元暦元年(1184年)行忠は一条忠頼とともに源頼朝によって謀殺された。
天文10年(1541年)武田信虎を駿河国に追放し晴信を擁立した甘利虎泰が有名で、虎泰は天文17年(1548年)信濃国上田原での村上義清との合戦で討死し、子昌忠が継いだ。
現在は大輪寺の境内となっている。この大輪寺は甘利氏の菩提寺で、開基は甘利昌忠、開山慶受院日国聖人は昌忠の三男だという。