築城年代は定かではない。葦名氏の租と云われる佐原十郎義連の居館と伝えられており、加納庄に土着した佐原氏の居城である青山城の支城となったと推測されている。
岩尾館は岩尾多目的集会センターの北東にある稲荷神社一帯に築かれていた。
『福島県の中世城館跡』によれば、かつては稲荷神社から南の南沢まで南北に土塁が伸び、さらに西側100mの所にも南北に伸びる土塁があったという。これらの土塁も殆ど消滅しており、稲荷神社南側が辛うじて残るとされるが、これもかつて土塁であったことがわからなくなるほど削られている。
稲荷神社の近くにある民家には太子堂があり、ここに館主の墓と伝える五輪塔が数基現存しているらしいが、個人宅なので確認していない。館主とされる佐原十郎義連の墓と伝えられる宝篋印塔がここから1kmほど南下した所に残されており県指定史跡となっている。(地図)