Правильно: Музей олимпийской славы.
Кавычки все равно нужны, если речь по-прежнему о музее.
Обратитесь, пожалуйста, к книге: Граудина Л. К., Ицкович В. А., Катлинская Л. П. Словарь грамматических вариантов русского языка. – 3-е изд., стер. М., 2008.
Корректно написание строчными буквами.
Возможны оба варианта. См. значение слова.
Эти сочетания пишутся строчными буквами.