築城年代は定かではないが、建仁年間(1201年〜1204年)に加治庄の地頭佐々木盛綱の家臣が築城したのが始まりと云われる。

南北朝時代の興国2年・暦応4年(1341年)宗良親王が一時高柳に滞在していたと伝えられ、御殿山、御所平の名称もそれに由来すると云われる。

天文11年(1542年)には長尾俊景の家臣北川大学が城主であったが、天文13年(1544年)栃尾城主であった長尾景虎(後の上杉謙信)に攻められ、その後は森五郎左衛門、継いで子の高柳監物が城主となった。しかし、監物の時に家臣が武田信玄に通じたとされ知行は没収された。

高柳城は高柳川と大谷川(桝沢川)との間に挟まれ、西へ細長く伸びた山塊の中央にある標高227mの要害山山頂(通称御殿山)に築かれている。非常にコンパクトな縄張りであるが横堀や土塁付帯曲輪を多段に設けるなど、厳重な防御を施し、見応えのある城になっている。

高柳城は方形主郭を急峻な北と東を除く二方を取り囲むように、土塁付きの帯曲輪を二重三重と巡らせた縄張りで、虎口も明瞭に残っている。

一番下の段は西から南にかけて横堀がＬ字に設けられていて、隅の部分が土橋となり、主郭方向に通じている。横堀の北端は竪堀に変化し、その横にも連続竪堀がある。東へ伸びる横堀は南尾根を断ち切る堀切となり、その外側にも一条堀切から斜めに竪堀が落ちる。この横堀と斜めに落ちる竪堀の間に畝状竪堀群が残っている。

国道290号線と県道244号線が分かれる下高柳交差点を南の県道に入り、すぐ南の交差点を東へ曲がって高柳川に沿って東へ進む。県道から2.2km程東進すると下高柳のバス停があり、その北北東の山が要害山である。登り口は山裾にある灰色の中央が二階になった小屋の左で、白い標柱が二本見える。