築城年代は定かではないが室町時代後期に田村氏によって築かれたと云われる。 田村氏は淡路国一宮伊弉諾神宮の祭主家としてここに土着したという。
戦国時代は三好氏に従い、天正10年(1572年)羽柴秀吉の淡路平定により滅亡したという。
郡家城は伊弉諾神宮の南東にあり、郡家川にその支流が合流する地点の南側にある丘陵に築かれている。日本城郭体系に簡単な縄張図が掲載されているが方位が間違っており、西が本来の北で、丘陵は南北に伸びている。
郡家城は丘陵の北端部に築かれている。 主郭は天守と呼ばれる南方の最高所で、南背後を堀切で遮断している。 この北下にある曲輪は広い土橋状の地形が南北にあり、西側は方形に凹み西端中央に開口部があって虎口のような感じになっている。
主郭背後の堀切を越えて南へ行くとさらに曲輪らしき地形が広がり、土塁か横堀状の地形もあるが、西側の台地が削られているのか現状では明確に曲輪と見ることができない。