宝永6年(1709年)広島藩によって築かれた遠見番所で、藩から派遣された番頭と番人は海越番人居館に住んで交代で監視を務めた。

鹿老渡 遠見山番所は鹿老渡集落の東に聳える標高99.1mの遠見山に築かれていた。 『倉橋町史』によれば基壇の列石があり、周辺には瓦が散乱しているということであるが、シダが生い茂っており遺構は未確認である。

鹿老渡集落から山上まで舗装された道があるが、荒廃しており車で登ることはできない。