Правильны оба варианта. Подробно см. в Письмовнике.
Правильно: краеведческий музей.
Воспользуйтесь окном «Искать на Грамоте».
Ваш вариант пунктуационного оформления корректен.
Правильно: Музей олимпийской славы.
Вы правы. Для постановки запятых в этом предложении нет оснований.
Все правильно.