永禄7年(1564年)針尾伊賀守によって築かれたと云われる。
針尾城主針尾氏ははじめ大村氏に属していたが、後藤貴明が大村氏を攻めたときにこれに呼応した。その後、平戸松浦氏に属することとなったが、大村氏が針尾島の奪還を目指したため、これに備えるために築いたのが牛ノ岳城と云われる。
牛ノ岳城は牛ノ岳の東、飯盛山の北西にある標高151mの山に築かれている。 牛ノ岳に築かれていたと考えられていたが、遺構は確認されず『図説 中世城郭事典』でこの位置に存在するのが牛ノ岳城と紹介されている。また、『長崎県中近世城館跡分布調査報告書』では、ここに存在する牛ノ岳城とは別に牛ノ岳に牛ノ岳砦が存在していたとして一覧に記載されている。
牛ノ岳城は山頂を中心に無数の石塁、石積遺構が残されている。石塁は比較的なだらかな山頂部を区画するように巡らされ、いくつかの区画に分割している。一般的な山城の石塁は切岸の上部に防壁として設けているのに対し、ここにある石塁は単に区画する壁として用いている。側面には段々に造成された平地があり、石積で補強されているが、これらも城郭遺構なのかハッキリしたことは分からない。ここにある遺構が山城としての遺構なのか、はたまた山岳寺院など他の施設の遺構なのか私にはわからなかった。
東側に道路があり「有福土砂処分場」というのがある。ここの南側から一度谷下に降りて登ると簡単に主郭に行くことができる。
最寄り駅(直線距離)