築城年代は定かではないが平賀義信によって築かれたと云われる。 平賀氏は新羅三郎義光の子義盛が平賀に館を構えて平賀冠者を名乗り、その子義信によって平賀城が築かれたと伝えられている。

応永7年(1400年)大塔合戦では佐久郡の他の国人領主とともに、守護小笠原長秀と戦っている。その後、小笠原氏系の大井氏と争うようになり文安3年(1446年)大井氏によって滅ぼされたと云う。

城は平賀集落の東の山にあり、北と南に滑津川と田子川が流れ、北の滑津川沿い上野へ通じる古道を押える要衝に位置する。

主郭は山頂から西へ張り出した尾根の頂部にあって南東に本丸・北西に向かって二の丸・三の丸と連なっている。

県指定史跡で公園のようになっているのだが、登り口がわからず、車道が東の尾根を通っているので、正安寺脇の道を登って東の尾根にある搦手から本丸へ登った。どうやら国土地理院の地図で、西にある鳥居のマーク(不動尊)の方に道が続いているようである。