詳細不明。城主は粟井一族、あるいは須々木主計とも伝えられる。
高山城は粟井川に面した標高246mの山に築かれている。
南端最高所に主郭部Iがあり、北へ伸びた尾根に曲輪II、IIIが確認できる。
主郭部Iは切岸も高くしっかりと削平された曲輪群で、I1を中心に曲輪群を配す。I1は東端の南北に通路があり、どちらもI4に通じる。西のI2には南北両端に土塁スロープを備えている。
I3は西端に竪堀4があるが、東側は崩れたもののようにも見える。
I6は北側に竪堀3が伸びており、もともと堀切であったとも考えられるが、南側には竪堀があった痕跡はなくひとまず曲輪と考えられる。
曲輪IIは南側に土塁がつき、北側も溝があって土塁状になっているが、溝は幅が狭く畑の排水溝跡とも考えられる。南東隅が虎口のようになるがはっきりしない。
曲輪IIIは曲輪IIと堀切で区画されているが、東側から堀切に通ずる虎口が開口する。東は低い土塁があり、北はなだらかに下る。
曲輪IIIから東へ伸びた尾根にも若干削平地が確認できるが、明確な城郭遺構はここまでである。
西の国道から山腹にある田畑や墓に伸びる農道がある。ここの奥から山道があり東の鞍部へ登るようになっている。
最寄り駅(直線距離)