山吹陣屋は江戸時代に交代寄合の旗本として千五百石を領した座光寺氏の陣屋である。座光寺氏は船山城主片切氏の庶流で、座光寺城を居城としていた。その後、徳川家康に従って関東へ転封したが、関ヶ原合戦の功によって伊那郡に所領を賜って旗本として明治まで続いた。
この山吹陣屋ができる以前の中世には山吹城があったと云われ 、山吹氏が城主であったという。
山吹陣屋は泰山神社、領法寺の東側一帯に築かれていた。西に大手があり、かつての石垣が残っているが、城内側が低くなっており珍しい状況といえるだろう。そして城内には現在も座光寺家の末裔の方が在住ということで、詳しい遺構は確認していない。