築城年代は定かではないが南部氏によって築かれたと云われる。 南部氏は甲斐源氏の祖新羅三郎義光の末裔で、加賀美二郎遠光の三男光行が、源頼朝に従って平家打倒に功があり、甲斐国南部牧を与えられ南部氏を称した事に始まる。
文治5年(1189年)南部光行は奥州藤原氏討伐に随行して功を挙げ、陸奥国糠部五郡を与えられた。これにより光行は陸奥へ降り、陸奥国相内館を経て陸奥国平良ヶ崎城へと移り奥州南部氏の祖となった。
甲斐南部氏は光行の三男実長が波木井郷の地頭職となって残った。
南部氏館は富士川に面した地に築かれていた。享保時代の記録では東西約109m、南北約72mの規模で土塁や堀などかあったが、現在はそれらの遺構はなくわずかに井戸が残っているだけである。
南部氏の菩提寺は南部城山の東麓にある妙浄寺で、新羅三郎義光を祀った新羅神社もある。写真は南部城山を参照。