Правильно: краеведческий музей.
Мужской вариант склоняется: Филей, Филея, Филею и т. д.
Правильно: Музей олимпийской славы.
Эти сочетания пишутся строчными буквами.
Сочетание музей боевой славы пишется строчными как родовое наименование (не как официальное название учреждения), например: почти в каждой школе нашего города есть музей боевой славы.