Запятая нужна. Д. Э. Розенталь рекомендовал отделять слова что, а что, что же, обозначающие вопросы, за которыми следует предложение, раскрывающее их конкретный смысл (после них делается пауза), ср.: Что, если я кликну клич? (Т.) («что будет, если…»); А что, если он прячется в глубине лесов? (Каз.); Что, если в самом деле он [городничий] потащит меня в тюрьму? (Г.). 

Это предложения разговорной речи. Д. Э. Розенталь писал, что при пунктуационном оформлении текстов разговорной речи возникают различные трудности. «В некоторых случаях представляется возможным находить какие-то соотношения между конструкциями разговорной речи и конструкциями речи книжной (кодифицированного литературного языка), проводить аналогию между теми и другими; иногда такое сопоставление невозможно и приходится искать особые критерии для решения вопроса о знаках препинания в текстах разговорной речи. Чаще всего пишущие опираются на интонацию». Он приводит такие близкие к Вашему примеры: 

А кино, что, сегодня не будет? — А кино, что? сегодня не будет?

Еще Д. Э. Розенталь писал о том, что запятой отделяются слова что, а что, что же, обозначающие вопросы, например: Что, если я кликну клич? (Т.) («что будет, если…»); А что, если он прячется в глубине лесов? (Каз.); Что, если в самом деле он [городничий] потащит меня в тюрьму? (Г.); Что, ему лет двадцать пять, не больше? (Л.Т.), и что в некоторых подобных случаях возможны пунктуационные варианты в зависимости от значения, которое вкладывается в местоименное слово, ср.:

Ты что же не идёшь с нами? («почему»). — Ты что же, не идёшь с нами? («что делаешь?», пауза после что же).

Полагаем, что и в Вашем примере возможны интонационные варианты, следовательно и варианты пунктуационного оформления.

Правильно строчными: кемский городничий.