Слово морж в значении 'любитель зимнего плавания в открытых водоёмах' зафиксировано словарями русского языка (см. пример словарной статьи), т. е. необычным такое значение назвать уже нельзя. Поэтому необходимости в постановке кавычек нет. Но в некоторых контекстах кавычки будут уместны (если есть вероятность, что читатель может не понять, идет ли речь о людях или о животных).