Считаем сочетание не совсем корректным.
Запятая не нужна, поскольку части сложного предложения объединены общим словом - "поэтому".
Правильно: Оставить неглаженым воротник. Неглаженый здесь – прилагательное. Ср.: не глаженный много дней воротник (есть зависимые слова, не глаженный – причастие).