Прилагательное от Чухлома – чухломской. Правильно: Чухломской краеведческий музей.
Это не регламентируется правилами русского языка.
Сочетание краеведческий музей пишется строчными. С прописной буквы пишется первое слово официального названия, напр.: Алтайский государственный краеведческий музей.
Правильно: краеведческий музей.
Эти сочетания пишутся строчными буквами.