築城年代は定かではないが広戸広義によって築かれたと云われる。
広戸氏は大別当城主有元満佐の次男佐友が広戸氏を名乗った事に始まると云う。
天文2年(1533年)尼子氏が美作へ侵攻し家臣三好安芸守により矢櫃城は落城、城主広戸広家は自刃し、嫡子新三郎は尼子氏に捕えられ出雲へ連れ去られた。
その後、新三郎は岡本広義と名乗り天文年間(1532年〜1555年)に旧領の相続が認められ広戸へ戻り、旧臣を集めて本丸城を築いたと云う。
その後、広義は落馬によって没し広戸氏は断絶となるが、この時期は文禄元年(1592年)豊臣秀吉による文禄の役とも天文24年(1555年)ともいわれ定かではない。