築城年代は定かではないが杠氏によって築かれたと云われる。 杠氏は嘉吉2年(1442年)淡路国から杠日向守が来住したのが始まりとされる。
文明年間(1469年〜1487年)には杠日向守重満、天文年間(1532年〜1555年)には杠主馬允などがおり、山内でも有力な豪族で、山内の盟主となった神代勝利の重臣でもあった。天正18年(1590年)神代家良は山内から芦刈・川久保へ領地替えとなり、杠氏もこれに従った。
杠氏館は川が大きく蛇行する尾根の先端に築かれている。北山ダムができた影響もあって地形がやや変わっているような気もするが、川に面した微高地に築かれている。北に向かって舌状に伸びた微高地に平段があり、一部土塁が付いている。