Географические названия в сочетании с родовым словом обычно не склоняются, когда род обобщающего нарицательного слова и топонима не совпадают (как в приведенном примере). Поэтому верно: села Курумоч, в селе Курумоч.
Возможно, такое употребление будет уместно в определенном контексте в поэтической речи. Однако в подавляющем большинстве случаев это сочетание воспринимается как некорректное.
Лучше: ...села Казарка.
Географические названия в сочетании с родовым словом обычно не склоняются, если род названия и род термина не совпадают. Корректно: из села Кулунда.
К сожалению, правила недостаточно четко регламентируют данную ситуацию. При прямой речи, стоящей после слов автора и заканчивающейся вопросительным знаком, восклицательным или многоточием, точка не ставится (см. оформление примеров в § 196 Правил 1956 года). Однако Ваш пример ближе к предложениям, в которых при разных знаках внутри кавычек и в конце всего предложения, знак конца предложения все же ставится. Приведем правило из Полного академического справочника под ред. В. В. Лопатина (§ 159): «если перед закрывающей кавычкой стоит знак вопросительный, восклицательный или многоточие (и на этом предложение заканчивается), то те же знаки, необходимые по условиям всего предложения, не повторяются после закрывающей кавычки; неодинаковые знаки (перед кавычкой и после кавычки) ставятся». Ср. примеры:
Вы читали роман «Кто виноват?»
Неужели вы не прочитали роман «Что делать?»!
Названия сел, городов, деревень и т. д. в кавычки не заключаются.
Возможна постановка интонационно-логического тире.
Если это предложение целиком, то запятая не требуется. Если это часть предложения, то пунктуация зависит от контекста.