Кавычки не нужны. Правильно: серебряный век (эпоха расцвета культуры, сопоставимая с золотым веком); но: Серебряный век (в русской культуре и искусстве начала XX в.).
В cправочнике издателя и автора А. Э. Мильчина и Л. К. Чельцовой указано: Века традиционно обозначают порядковыми числительными в виде римских цифр: XXI век.