Этот оборот обычно не требует постановки кавычек.
Вы задали интересный вопрос. Женский день – это сокращенное, разговорное наименование праздника, для которого есть официальное название. В правилах орфографии написание неофициальных сокращенных названий не регламентируется. Мы рекомендуем писать их с прописной буквы на основании общего правила о прописной букве в наименованиях праздников.