享保2年(17117年)江戸幕府によって築かれた。海防のための番所として銀杏山(現遠見山)山頂に築かれたのが牛深遠見番所であった。 寛政10年(1798年)には麓に牛深湊見張番所も増設され、山腹に牛深中番所も設けて狼煙を中継した。

牛深遠見番所は牛深港の北に聳える標高217.2mの遠見山に築かれていた。現在は遠見山展望所として公園整備されており、山頂近くまで車で登ることができる。これといって遺構はないようだが、すばらしい景色が広がっている。