築城年代は定かではないが文明年間(1469年〜1487年)に安西左近忠澄によって築かれたと云われる。信濃国諏訪氏の一族諏訪左近が文明年間(1469年〜1487年)頃にこの地に下り、安西氏の祖となったという。
慶長2年(1597年)安西與八郎忠喜は生駒親正より二百石を賜った。
三条城が築かれていた場所は定かではないが、一説に荒神社付近(地図)と云われている。 『香川県中世城館跡詳細分布調査報告書』では地籍図から荒神社北西付近に方形区画を求めているが、この辺りも宅地や水田となっている。
近くにある善光寺(地図)には安西氏累代の墓があり、「安西氏諏訪神社善光寺墓地」という安西氏の由緒を記した石碑が建っている。