築城年代は定かではないが金森左京重勝によって築かれたと云われる。 金森左京家は元和元年(1615年)飛騨高山藩主二代金森可重の時、五男金森重勝に三千石を分地したことに始まる。
宗家の金森氏は宝暦8年(1758年)4月金森頼錦の時、美濃国郡上八幡で宝暦騒動の責任を問われ改易となったが、金森左京家は存続を許され、宝暦9年(1759年)越前国に三千石の所領を与えられ、越前国白崎陣屋を築いて旗本交代寄合として続き明治に至る。
金森左京屋敷は観音山の東麓にある釜崎に築かれていた。その後、神岡工業高校の敷地となり、現在は公園となって明瞭な遺構は残っていない。南側の土手に「金森左京家三代館跡」と書かれた標柱が建っている。