築城年代は定かではないが、平安時代末期に源為朝による築城とも伝えられる。 鎌倉時代中期には知久氏の居城となる。知久氏は信濃国伊那郡伴野荘知久本郷発祥で清和源氏説もあるが、神氏の末葉と云われる。
天文年間に武田信玄が伊那へ進出すると知久氏は武田氏に従ったが、天文22年(1553年)伊那の諸将が武田氏に反旗をひるがえす。これに対して武田信玄も伊那に侵攻し上ノ平城も落城したという。
城は東に突き出た丘陵の先端に築かれている。 現在城址の大半は農地となり、わずかに堀跡が残ってる程度で土塁などは見当たらないが、西の先端にある堀切は明確に残っている。