築城年代は定かではないが平安時代末期に人見六郎政経によって築かれたと云われる。 人見氏は武蔵七党の一つ猪俣党に属しており、六郎政経が人見に居住して人見氏を称した事に始まる。
人見氏は源範頼に従って平家を打倒し、南北朝時代には楠木正成の河内赤坂城攻めで先陣を切って討死するなど、その名が知られている。
室町時代のはじめに人見氏は丹波へ移り、中期頃には深谷上杉氏の一族上杉憲武が館を改修して住んでいたという。
人見館は東西に二つの曲輪があったようであるが、現状では西の曲輪が確認でき、曲輪の北側は小川に沿って東西に空堀があり、西側には二重になった空堀が残っている。
近くの一乗寺は人見四郎基堅入道恩阿開基の寺院で人見氏累代の墓がある。