築城年代は定かではないが平治元年(1159年)頃に藤原通良によって築かれたと云われる。 平治元年(1159年)藤原通良は平氏に対して蜂起したて籠ったが、平氏の大軍に包囲され落城する。

鎌倉時代に通良の子通俊が綾部荘を賜わり綾部氏を名乗って居城とした。その後は九州探題方の拠点として利用され、永正年間(1504年〜1521年)には九州探題渋川氏を追って大宰少弐武藤氏の居城となった。 しかし大宰少弐武藤氏は元亀2年(1571年)滅亡した。

宮山城は綾部城とも呼ばれるが、一般的に綾部城はこの辺り一帯の城郭群(少弐山城,白虎山城,臥牛城など)を指しているとされる。

城は綾部八幡神社の西側の山にあり、頂部から南に削平地を数段構えている。

遊歩道を登りつめた所が南端の削平地で南北に長く、北東側に土塁が残されている。

山頂部はあまり広くなく、その下に三段ほど北から西側にかけて帯曲輪が設けられている。山の西側斜面に畝状竪堀群がある。