築城年代は定かではない。安倍館は古来厨川柵と見られ、前九年の役で安倍貞任ら安倍一族が籠城して源頼義・清原武則の連合軍に敗れた場所と考えられていた。しかし、近年の発掘調査によって嫗戸柵(うばと)であった可能性も指摘されているという。
鎌倉時代には岩手郡一帯を所領とした工藤行光の居城であった。工藤氏は後に栗谷川氏(厨川氏)を名乗り、天正年間(1573年〜1592年)頃、栗谷川仁右衛門は南部氏に属していた。
城は北上川による河岸段丘に築かれている。北上川に沿って南北に曲輪が列び、空堀によって区画している。
現在は本丸に八幡社が祀られている。曲輪は北から勾当館・外館・北館・本丸・中館・南館と列んでいる。周囲は民家が建ち並んでいるが堀は比較的良好に残っている。