飫肥藩によって築かれた番所で、島津氏との国境「牛の峠」の近くに築かれていた。

白木俣番所は国道222号線沿いにある白木俣神社の近くで民家の敷地となっている。 国道側に残る石垣が番所のものとされる。

番所跡にある民家は無住のようで、隣の方に番所について伺ってみたがご存じではなかった。