築城年代は定かではない。天正3年(1575年)徳川家康が武田氏の籠もる二俣城を攻めたときに本陣を置いた所として知られ、このときに築城されたというのが一般的な説であるが、それ以前に築かれていたとも云われる。
現在天竜川は鳥羽山城の南を流れているが、当時は北側を流れ、二俣城とは天竜川を挟んで対峙する位置にあった。家康は鳥羽山城に本陣を置き、毘沙門堂砦、蜷原砦、和田ヶ島砦を築いて二俣城を包囲した。
鳥羽山城は二俣城の南西にある標高100.3mの鳥羽山山頂に築かれており、現在は鳥羽山公園となっている。
主郭は山頂にあり野面積みの石垣を用いた曲輪で、北に搦め手、南に大手、東に通用門の虎口を開く。特に南の大手虎口は大きな外桝形でそこから両側を石垣で固めた大手道が続いている。
主郭の内部では庭石の遺構が見つかり枯山水の庭園があったものと推測されている。 主郭から東へ伸びた丘陵へ曲輪の遺構が広がっているようであるが、この辺りは以前と変わらず未整備で、主郭部付近とはことなり遺構の形態も古いものである。
国道152号線が鳥羽山をトンネルで貫通している。その北口から東へ入って行くと鳥羽山の中腹にある公園の駐車場まで車で登ることができる。
最寄り駅(直線距離)