築城年代は定かではないが平尾氏によって築かれたと云われる。 平尾氏は依田氏の一族で大井氏に降って平尾に移り平尾氏を名乗ったという。
文明16年(1484年)大井城が村上氏によって落城し、大井氏宗家が滅亡すると平尾盛信は自立し、永正年間(1504〜1521年)には平尾城を築いて詰の城とした。
天文9年(1540年)頃より武田信玄は佐久へ侵攻し大半の諸城はこれに降ったが、この時降らなかった田口城・内山城・志賀城を攻略する為、天文15年(1546年)再び佐久へ侵攻した。この時平賀為信の弟為守は志賀城に加勢し、天文17年(1548年)武田氏が上田原合戦で村上義清に敗れると佐久の諸豪族は一斉に蜂起して武田氏に反抗、平尾氏もこれに参加したが、武田氏が前山城・田口城を攻略して平定し平尾為信も降伏した。 為信の子守房は武田氏に仕えることをよしとせず、上野国松井田城へ逃れたが、その後松井田城が武田氏によって攻略されると、平尾へ戻ったという。
天正10年(1582年)武田氏が滅亡し織田信長が本能寺の変で倒れると、上野より侵攻した北条氏に佐久の諸城は降ったが、徳川家康は依田信蕃を佐久へ派遣し北条氏の糧道を断つと北条氏は徳川氏と和議を結んで関東へ戻り、依田信蕃によって佐久の諸城は平定された。
平尾氏は五代平尾守芳のとき、小諸城主となった松平(依田)康国に仕えたが、天正18年(1590年)松平康勝が上野国藤岡へ転封となると、これに従い上野へ移り、この地を去った。
館は湯川の東岸の河岸段丘に築かれている。平根小学校の北の畑となっている所が館跡で、手持の資料では西を除く三方に堀を巡らし、北の隅に櫓台のような高台が残っていたとあるが、歩いてみた限り堀は確認できなかった。