Если мы желаем кому-то ни пуха ни пера, то используем фразеологизм, который нужно писать по правилу без запятой. Однако этот же оборт можно использовать и как свободное (не фразеологическое) сочетание, тогда запятая нужна. В статье нашего «Справочника по фразеологии» удачно сочетаются оба примера употребления.
Ни хвоста, ни чешуи — эти слова произносят рыбаку. Ни гвоздя, ни жезла (или ни жезла, ни гвоздя) — такое благопожелание может быть высказано автомобилисту.
См. в «Справочнике по фразеологии».