築城年代は定かではないが向氏によって築かれたと云われる。 向氏は黒丸城主朝倉高景の五男向駿河守久景を祖とする。
その後、向光繁が永正元年(1504年)に鬼部郷一万石を領して木部新保に居館を築いたという。この光繁は向久景の子と伝えられるが年代は合わない。しかし、紀部神社に寄進された懸仏額の裏銘に光繁の名が残り、天文元年(1532年)に六十五歳で没した向光繁なる人物がいたことは確かなようである。
向氏館は木部新保の集落内に築かれていた。地籍図を確認すると、願行寺の南東に「岡田屋敷」と呼ばれる所があり、周囲に堀を巡らせた方形居館とみられる地形、さらに南にも北辺が不明であるが、三方に堀跡を残す地形を確認することができる。また、「岡田屋敷」の北には「館屋敷」など複数の館があったようである。
現在は宅地となっており、明確な遺構の確認はできなかった。