Да, такое существительное может быть написано слитно с не- в соответствии с правилом: «Слитно пишется не с именами существительными, обозначающими лиц и выражающими качественный оттенок; такие существительные в сочетании с приставкой не- приобретают значение противопоставления: специалисты и неспециалисты, профессионалы и непрофессионалы, футболисты и нефутболисты, филологи и нефилологи. Например: Все непрофессионалы, нефилологи, могут об этом и не знать; Фирма приглашает специалистов и неспециалистов для работы в сфере обслуживания».

Например: Но Брюсов, этот мужчина в поэзии par excellence, этот любитель пола вне человеческого, этот нелюбитель душ, этот: правое — левое, черное — белое, мужчина — женщина, на такие деления и эффекты, естественно, льстился [М. И. Цветаева. Герой труда (Записи о Валерии Брюсове) (1925)]; Недаром же французы сложили песенку, в которой загадочно, но вполне убедительно оценивают разницу между любителями и нелюбителями путешествий [В. А. Каверин. Верлиока (1981)] и др.