寛永19年(1642年)日出藩初代木下延俊が没し二代俊治が家督を相続すると、父延俊の遺言により弟延次(延由)に五千石が分与され旗本となった。
日出藩初代木下延俊の父家定は豊臣秀吉の正室ねね(高台院)の兄である。 本来の遺言は一万石を分与であったものの、家老長沢市之亟が五千石にしたと伝えられる。 日出藩はわずか三万石で、このうち一万石を分与するのは過分であることなどから、延次が豊臣秀頼の遺児豊臣国松ではないかという説もある。
日出藩分家立石木下家は寛文4年(1664年)正式に旗本交代寄合と認められ、十一代続いて明治に至る。
立石陣屋は旧立石中学校の地に築かれていた。立石郵便局の北西にある空き地が中学校跡地で陣屋の遺構はなく、「北部中学校跡地」の石碑が建っているものの陣屋に関するものは見あたらない。
陣屋の北東にある長流寺(地図)が立石領木下家の菩提寺で、ここに六代俊昌、七代俊直、九代俊芳、十代俊国の墓碑がある。