入江一族吉川氏の館である。梶原討伐では吉川小次郎友兼が梶原景茂を討ち取る戦功を挙げ、この功によって播磨国福井荘を賜った。 承久の乱では吉川経光が幕府方として参陣し、宇治川橋合戦の戦功により安芸国大朝本荘の新補地頭職を得た。
正和2年(1313年)嫡流の吉川経高は安芸国駿河丸城へ移った。この家系が後に毛利元就の次男吉川元春を養子に迎え、江戸時代f 周防国岩国三万石の領主となった。
吉川館は現在の清水区吉川に築かれていたが、遺構はなく場所は定かではないようである。
現地に建てられている案内板は能島八幡宮の南の川沿いにある。この案内板によれば、この巴川から南の小糸製作所の間を屋敷跡と推測しているである。
一方『静岡県の城跡-中世城館縄張図集成(中部・駿河国版)』ではさらに南の吉川東公園一帯を吉川氏屋敷跡と推測している。この辺りは滝氏を称し、江戸時代に吉川氏を再び名乗った一族が居たようである。