Правильно: краеведческий музей.
Прилагательное от Чухлома – чухломской. Правильно: Чухломской краеведческий музей.
Сочетание краеведческий музей пишется строчными. С прописной буквы пишется первое слово официального названия, напр.: Алтайский государственный краеведческий музей.