永禄4年(1561年)葦名盛氏によって築かれた。 盛氏が隠居城として築いたもので、家督を盛興に譲った後、盛氏は一旦向羽黒山城へと移った。しかし、天正2年(1574年)盛興が26歳の若さで没すると嗣子なく、盛氏は盛興の正室(伊達氏)を自分の養女として、二階堂盛隆を養子に向かえて家督を継がせた。盛氏は後見人として黒川城へ再び移ることとなり廃城となったとされる。

城は阿賀川の西岸に聳える岩崎山一帯に築かれている。

主郭は山頂にあって東西に長く、北下から東下に横堀が巡り東側に桝形虎口がある。 主郭の北方にある峰に二の丸があり、そこから北西に伸びた尾根の先端が三の丸という。

会津本郷駅から県道219号線沿いに南下すると、会津本郷焼資料館がある。ここに向羽黒山城のパンフレットが置いてある。ここから車で山を登って行けば、途中いくつか駐車場があり、本丸下まで車で登ることができる。