築城年代は定かではないが建久年間(1190年〜1199年)に伊庭高実によって築かれたと云われる。 伊庭氏は観音寺城佐々木行実の四男高実が、伊庭の領地を治めて伊庭氏を名乗った事に始まるという。

伊庭貞隆の時代になると主家佐々木六角氏に匹敵する勢力を持つようになり、文亀二年(1502年)佐々木六角高頼は伊庭貞隆を排除するべく立ちあがる。貞隆は湖西へ逃れると管領家細川氏の援助を受けて攻勢に転じ、高頼は観音寺城を捨てて音羽の蒲生氏を頼った。その後さらに足利将軍を巡る争いがおこり、伊庭氏は岡山城が落城して没落した。

元禄11年(1697年)旗本三枝氏が領主となって陣屋が築かれ明治に至る。

現在勤節館が建てられている付近が城址で、近くの水路に架かる橋は「陣屋橋」と名付けられ、付近の水路は堀跡で石垣は当時のものだという。