築城年代は定かではない。越前守護職となった島津忠久の次男忠綱が守護代として在城したとか、南北朝時代に足利高経の子斯波義将が在城したなどと伝えられている。
栗屋城は日本海を見渡す標高540mほどの山に築かれており、現在は愛染明王社の境内となっている。
主郭は愛染明王社境内一帯で周囲に帯曲輪、腰曲輪などが広がっている。北へ進むと大堀切があり、その先も腰曲輪が続き、少し下ったところに北端の堀切があって、脇に竪堀が一条落ちている。
南は参道によって大きく削られているが、側面には四条の畝状竪堀群があり、東屋の南側に堀切跡がある。
南の小城山も城域とあるが、山頂部はかなり削られており、現状遺構は見当たらない。
舗装林道が北の国道、南の県道から続いている。冬季明けであったこともあるが落石や倒木が多い道で、特に南の県道に降りる道は荒れている。
林道から城山に向かう車道は特に荒れていたので、入口の駐車場に駐めて歩いたが、落石も多く歩くのが無難であった。