天正18年(1590年)伊奈忠次によって築かれた。 天正18年(1590年)徳川家康の関東入部に従い三河国小島から移り、一万三千石(一説に一万石)を知行した。
伊奈忠次は家康の関東入部により関東代官頭(関東郡代)に任ぜられ、検地や治水、新田開発などに手腕を発揮した。
慶長15年(1610年)忠次が没すると嫡男伊奈忠政が家督を継ぎ、関東代官頭も引き継がれたが、元和4年(1618年)に没した。忠政の家督は嫡男伊奈忠勝が継いだが、幼小であったことから関東代官頭は忠政の弟で旗本として赤山陣屋を構えていた伊奈忠治が継いだ。
小室藩の家督を継いだ伊奈忠勝であったが、翌元和5年(1619年)わずか九歳で没し、小室藩は嗣子なく改易となった。しかし、伊奈家の過去の功績から忠勝の弟忠隆が旧領のうち小室郷など千百八十六石が与えられ旗本として存続、以後明治まで続いた。
伊奈氏陣屋は丸山駅の南東側一帯に築かれている。 伊奈氏以前にも中世城郭があった所と考えられており、城郭跡を陣屋に転用したようである。
北の丸山駅近くに「裏門」、南の原市との境付近が「表門」、内部には「蔵屋敷」、「陣屋」などの地名が残る。県指定史跡になっているのだか、この史跡指定を巡って住民ともめているようで、あちらこちらに史跡指定反対の看板があり、大半が民有地であることから立ち入りを禁止するロープが張られている。
表門から裏門まで集落内の道路を歩いて散策した程度であるが、表門付近に水堀らしき跡、裏門付近は屈折した道路で、外側に土塁と堀があり、その外側には発掘調査によって障子堀が検出されたようである。