寛永9年(1632年)伊木忠貞によって築かれた。 伊木氏は岡山藩池田家の筆頭家老で三万石を知行し虫明に陣屋を構えた。ただし幕府への配慮から「御茶屋」と称していた。
忠貞は伊木家三代の当主で、池田家が姫路から鳥取そして岡山へ転封となった池田家に仕え、岡山藩家老としては初代にあたる。伊木家は以後伊木忠恭まで代々続き明治に至る。
虫明陣屋は虫明診療所前バス停の西側一帯に築かれていた。 東側に流れる小川が堀の名残だというが、他に遺構はない。
西の奥にある「横山製鋼株式会社」の敷地内に「伊木氏茶屋跡」の石碑が建っている。 また、前の県道を東側の虫明郵便局に向かって進んだ所に、古い土塀の残る武家屋敷があり、現在も民家として利用されている。
虫明城を訪問後に近くの圓通山興禅寺を散策していた所、本堂の西側から階段があり登ると4代忠親、8代忠福の墓碑があった。 帰宅後に調べた所、伊木家の墓所は長島と円通山(千力山)にあり、円通山(千力山)には3代忠貞、4代忠親、8代忠福、11代忠順、12代忠直、13代忠正、長島には5代忠義、6代忠興、7代忠知、9代忠真、10代忠識の墓碑があるという。