Если мы желаем кому-то ни пуха ни пера, то используем фразеологизм, который нужно писать по правилу без запятой. Однако этот же оборт можно использовать и как свободное (не фразеологическое) сочетание, тогда запятая нужна. В статье нашего «Справочника по фразеологии» удачно сочетаются оба примера употребления.