文明11年(1479年)頃に大井行俊によって築かれたと云われる。 行俊は長土呂大井行春の二男という。
天文年間(1532年〜1555年)頃に岩尾大井行頼は武田氏に降り、その後は武田氏に従って各地を転戦したという。
天正10年(1582年)武田氏が滅亡して織田信長が本能寺に倒れると、徳川家康の武将依田信蕃が佐久へ侵攻して諸城を攻略し、勢いに乗じて大井行吉の籠る岩尾城を包囲した。この戦いで城内に攻め入ろうとした依田信蕃と弟信幸を鉄砲で討ち取ったが、その後も激しく攻めたてられ降伏開城した。
城は千曲川と湯川が合流する地点の東の丘陵に築かれており、現在は伊豆・箱根三島神社が建てられている。
城は山頂に本丸、東へ向かって二の丸・三の丸が連なり、東の虎口は丸馬出しとなっていた。現在は二の丸に神社が建ち、三の丸・馬出しは畑となって旧状を留めていないようである。
県道78号線で岩尾集落に入り伊豆・箱根三島神社を目指すが集落内の道路は狭く、神社にも駐車場はない。
最寄り駅(直線距離)