詳細不明。城主は虫明蔵人、虫明四郎左衛門などの名が残り、天正年間(1573年〜1592年)に宇喜多直家によって攻め滅ぼされたという。

虫明城は虫明湾の北方に聳える標高127mの城山に築かれている。 山頂部は東西に長く、三段ほどの平地があるがゴツゴツした岩山で、削平の規模も小さい。堀切も見あたらず、段差も不明瞭で天然の要害を頼みにした城であろうか、何も知らずに登ると城跡という認識には至らないような地形である。

山頂には石祠があり金剛蔵王大権現が祀られている。南西に張り出した尾根の先端部は無線中継施設が建っている。

登り口は南西麓(地図)にあり秋葉神社や無線中継施設下を経て山頂に至る遊歩道が付いている。