寛永15年(1638年)多羅尾光好によって築かれた。 多羅尾氏は近衛経平の庶子高山師俊を祖とし、小川城を居城として設楽一帯に勢力を持った一族である。

多羅尾光太の娘が豊臣秀次に嫁いでいたことから、文禄4年(1595年)に秀次に連座して改易された。しかし、その後に徳川家康に召し出されて旗本となった。これは本能寺の変で堺から命からがら本領の三河へ戻る家康を、多羅尾光俊・光太父子が守護した恩に報いたものといわれる。

寛永15年(1638年)多羅尾光好は御代官に任ぜられて千五百石を領し、以後代々代官を世襲した。

多羅尾代官陣屋は上出集落の川の西側にある高台に築かれている。

「表門」と呼ばれる橋の入口に案内板が設置されているが、現在も個人宅になっていて立ち入りはできない。当時の建物は現存していないが、石垣や庭園が残っているという。