Кавычки все равно нужны, если речь по-прежнему о музее.
Корректно: в музее Гуггенхайма.
В документах, если это название употребляется вместо официального, прописная буква обязательна. Также и в публицистике, если нужно подчеркнуть, что речь идет о конкретном музее.
Правильно: краеведческий музей.
Предлагаем: В так называемом музее птиц (без кавычек) гости увидели пернатых питомцев самых фантастических размеров и окраски.
Правильно: Государственный исторический музей, при неофициальном употреблении: Исторический музей.
Сочетание музей боевой славы пишется строчными как родовое наименование (не как официальное название учреждения), например: почти в каждой школе нашего города есть музей боевой славы.
В этом случае слово музей следует писать с маленькой буквы.