寛政10年(1798年)江戸幕府によって築かれた。享保2年(17117年)海防のための番所として銀杏山(現遠見山)山頂に牛深遠見番所が築かれたが、寛政10年(1798年)に麓に牛深湊見張番所も増設され、山頂と麓の狼煙を中継する施設として中番所が整備された。

牛深遠見中番所は遠見山山腹の標高90m付近に築かれていた。現在は東屋などが設けられており小さな展望公園になっている。