Пробел рекомендуется ставить.
Правильно: 23 Февраля, День защитника Отечества.
Употребление множественного числа при составном числительном, оканчивающемся на один, возможно. Пример с придаточным определительным предложением при таком числительном есть в правилах согласования подлежащего и сказуемого в справочниках Д. Э. Розенталя.
«При составных числительных, оканчивающихся на один, сказуемое, как правило, ставится в форме единственного числа, например: Двадцать один делегат прибыл на совещание; ...было подано сразу тридцать одно заявление (Шолохов). Форма множественного числа данной конструкции может быть обусловлена контекстом, например: Двадцать один делегат встретились за круглым столом (сказуемое-глагол встретились указывает на взаимное действие, которое выражается формой множественного числа); Двадцать один ящик с посудой, которые были доставлены на базу, попали туда по ошибке (влияние придаточного предложения с союзным словом которые в форме множественного числа); За все уплачено 231 рубль (при формальной роли подлежащего счетный оборот имеет значение обстоятельства меры в страдательной конструкции); Двадцать один студент не явились на экзамен (эмоционально окрашенный разговорный вариант, подчеркивающий количество отсутствовавших)».
Однако лучше предложение перестроить, чтобы избежать грамматической неловкости.
Такое название не требуется заключать в кавычки.
