築城年代は定かではない。戦国時代には岩屋堂城主江刺重胤の次男人首如清が居た。天正年間(1573年〜1592年)頃には安蘇修理が居たが葛西氏が没落すると安蘇氏もこの城を立ち退いた。

江戸時代に入ると仙台藩伊達家の要害の一つとなり、沼辺重仲が一千石で拝領、以後沼辺氏が十代続いて明治に至る。

人首城は人首川に沿って西へ伸びた丘陵の頂部に築かれており、現在は館山公園として整備されている。

人首城は東西に伸びた丘陵の西から本丸、二の丸、三の丸と並んでおり、本丸はその周囲を腰曲輪が巡っている。二の丸は削平されて損傷しているが、二の丸と三の丸との間には空堀がある。

城山の南側を通りの入口に案内板が建っている。そこから車で登っていくと公園入口の標柱があり、城内まで車で入ることができる。