築城年代は定かではないが応永年間(1394年〜1428年)白井胤時によって築かれたと云われる。 白井氏は千葉上総介忠常の後裔義胤が上野国白井山田荘を領して白井氏と名乗り、その子胤時が下向して出張城を築いて居城としたと云う。

白井氏ははじめ安芸国守護の銀山城武田氏に属し、明応4年(1495年)武田元信より「安芸国仁保島海上諸公事」が認められ、仁保島付近を航行する所船からの勘過料を徴収する権利を得ている。

白井氏は主に水軍を持って勢力を張っていたようで、大永7年間(1527年)には周防国大内氏に属し、天文8年(1539年)には武田氏の川内警固衆を敗っている。

陶晴賢が大内義隆を討つと、その後、台頭してきた毛利元就によって追われ、白井氏は大内氏の宇賀島水軍と合流する。弘治元年(1555年)には矢野保木城にて大内方として毛利に抵抗していた野間隆実を援護するため、呉浦や仁保島、海田などを襲撃する。 しかし、陶晴賢が厳島合戦において毛利元就に敗れると、後に白井氏は小早川隆景に降った。

現在は本丸を中心に部分的に残っているものの大半は畑や住宅地になっている。南側には案内板が建ち、その近くに白井加賀守親胤の 名が刻まれた石碑が残っている。 親胤は時胤を初代とすると四代の当主である。