Запятая уместна в обоих предложениях.
Прилагательное от Чухлома – чухломской. Правильно: Чухломской краеведческий музей.
В справочнике Д. Э. Розенталя «Прописная или строчная?» (7-е изд., М., 2005) рекомендовано писать Театр эстрады (неофициальное название, при полном официальном Московский государственный театр эстрады), Театр на Малой Бронной (неофициальное название, при полном официальном Московский драматический театр на Малой Бронной). По аналогии: Театр оперы и балета.
Возможно как слитное, так и раздельное написание.
Именно такое написание имени сказочного персонажа — Муха-Цокотуха — и является сейчас нормативным, оно зафиксировано в академическом орфографическом словаре, размещенном на ресурсе «Академос» Института русского языка им. В. В. Виноградова РАН. Ранее «Русский орфографический словарь» РАН рекомендовал написание Муха-цокотуха, но теперь эта рекомендация изменена.
Этимологически верное ударение — на втором слоге (Итку́ль). Однако известно, что местные жители предпочитают вариант И́ткуль.