築城年代は定かではないが応仁年間(1467年〜1469年)頃に棚木左近によって築かれたと云われる。棚木氏は長氏十四代長光連の弟某(棚木左近)を祖とする。

天正10年(1582年)越後国黒滝の長景連が再び能登へ海路侵攻して棚木城を占領してたて籠った。景連は天正4年(1576年)にも上杉謙信の七尾城攻めにともなって海路能登へ侵攻し正院川尻城に籠っていたが天正7年(1579年)温井景隆・三宅長盛らによって越後へ逃れていた。その景連が再び魚津城攻めの隙をついて海路能登へ侵攻したのだが、織田信長の部将長連龍によって棚木城は落城し、景連は珠洲郡へ落ち延びる途中土民に討たれて落命したという。なお、景連の祖である長連之は棚木氏より長氏十五代長秀連の養子となり、越後に出奔して越後国黒滝長氏の祖となった縁がある。

城は宇出津の東にある富山湾に突き出した半島に築かれている。 現在は半島全体が遠島山公園として整備されている。

大小八つの曲輪で構成されていたという。現在は公園の中に本丸跡の碑が建ち、船隠しと呼ばれる入れ江が残る。