築城年代は定かではない。

はじめ打下城主林与次左衛門の家臣林右京亮の居城であったといい、日吉神社は明応年間(1492年〜1501年)にこの林右京亮によって創建されたと云われる。

永禄年間(1558年〜1570年)頃には城主は林氏から法泉坊新庄俊長に替わり、浅井氏に属して伊黒及び以南を領していたという。法泉坊氏は天正年間(1573年〜1592年)に織田信長に降ったが、浅井氏に攻められ滅ぼされた。

伊黒城は伊黒集落の南西の山裾、日吉神社の東隣にあり丘陵に築かれていたと云われる。

台地の上は現在圃場整備されており、旧状は定かではないが、北西の先端部に土塁のついた曲輪のような地形がわずかに残っている。この辺りには「トノサカ」と呼ばれる坂道が残る。

県道296号線から伊黒集落内の道に入り西へ進んでいくと、集落を抜けた辺りに伊黒会議所がある。この南東にあるのが日吉神社で、東の参道側の川を渡った向いの台地が伊黒城跡と云われる。