築城年代は定かではない。『新編会津風土記』によれば館主は三橋備前定重の次男刑部重治という。
三橋氏は加納庄を領した加納氏の庶流常世氏のさらに庶流で、文亀2年(1502年)常世氏が首謀者となって三橋、勝、小荒井らの国人領主が蘆名氏に叛き、三橋氏は会津から追放された。翌3年には伊達尚宗の支援を受けて会津に攻め入ったが敗れた。
その後、三橋氏は許されて会津へ戻ったようで、天正17年(1589年)三橋盛友は蘆名義広が伊達政宗に大敗して会津を去って常陸に向かった数少ない従者の一人であった。
下遠田館は会津縦貫北道路と県道127号線が交差する所の西100m程の所に築かれていた。 昭和27年の耕地整理によって館の遺構は消滅しているが、周囲が水田であるのに対して館跡の部分は畑地となっているようである。
『福島県の中世城館跡』によれば、東西約75m、南北約95mの方形居館で四方に土塁と掘が巡り、南側に虎口があったようである。