Словарная фиксация: Евангелическо-лютеранская церковь (словарь "Прописная или строчная" В. В. Лопатина, И. В. Нечаевой и Л. К. Чельцовой, М., 2011).
Да, это название склоняется: церковь в Кижах.
Фундаментальная "Православная энциклопедия" фиксирует вариант с запятой.