Правильно: музей «Банный корпус».
Правильно: краеведческий музей.
Правильно: Музей олимпийской славы.
Сочетание музей боевой славы пишется строчными как родовое наименование (не как официальное название учреждения), например: почти в каждой школе нашего города есть музей боевой славы.