慶長6年(1601年)小笠原長巨によって築かれた。 小笠原長巨は旧松尾城主で武蔵国本庄城主の小笠原信峯の弟で、徳川家康の命によって伊那郡十万四百石を支配し、その内秣料一千石を賜って伊豆木に陣屋を構え、伊豆木小笠原家の祖となった。

伊豆木小笠原家は参勤交代を行う交代寄合の旗本で、江戸城では柳間詰めであった。長巨以来十一代続いて小笠原長裕の時に明治に至る。

伊豆木陣屋は中世伊豆木氏の居城であった伊豆木城の南麓に築かれている。 現在は小笠原家書院として資料館とともに展示されている。

現存する書院は元和3年(1617年)に建立されたものと伝えられてきたが、解体修理によって寛永元年(1624年)の墨書が見つかりこの頃に建立されたものと確認された。書院は明治維新の後に、書院と御用所の玄関をくっつけたもので、その他の建物は移築現存する太鼓門を除いて現存していない。 「小笠原屋敷古図」によれば、南の大手に太鼓門、その西側に物見の平櫓があり、内桝形になっていた。

県道491号線沿いに専用の駐車場がある。

以下、訪問当時のものであり、変更されている可能性があります。