Корректно: Что ж теперь — себя во всём винить? или Что ж теперь, себя во всем винить?

Что ж, от ошибок никто не застрахован. Говорить поедьте всё-таки нельзя. Правильно: поезжайте.

Эта ситуация весьма распространенная, и наша рекомендация в таких случаях – с помощью словарей и справочников постараться, насколько это возможно, убедить человека в том, что склонение фамилии – не вопрос его желания/нежелания, а требование законов языка. Но если человек настаивает на получении документа с грамматической ошибкой – что ж, это его выбор.

Знакомство с этим фразеологизмом лучше всего начать с басни Ивана Андреевича Крылова "Лисица и виноград":

Голодная кума Лиса залезла в сад,
   В нем винограду кисти рделись.
   У кумушки глаза и зубы разгорелись;
А кисти сочные как яхонты горят;
   Лишь то беда, висят они высоко:
   Отколь и как она к ним ни зайдет,
      Хоть видит око,
      Да зуб неймет.
   Пробившись попусту час целой,
Пошла и говорит с досадою: "Ну, что ж!
      На взгляд-то он хорош,
   Да зелен - ягодки нет зрелой:
   Тотчас оскомину набьешь".

Да, если отбросить версию Митрофанушки:

(К Правдину.) Любопытен бы я был послушать, чему
немец-то его выучил.
Г-жа Простакова. Всем наукам, батюшка.
Простаков. Всему, мой отец.
Митрофан. Всему, чему изволишь.
Правдин (Митрофану). Чему ж бы, например?
Митрофан (подает ему книгу). Вот, грамматике.
Правдин (взяв книгу). Вижу. Это грамматика. Что ж вы в ней знаете?
Митрофан. Много. Существительна да прилагательна...
Правдин. Дверь, например, какое имя: существительное или
прилагательное?
Митрофан. Дверь? Котора дверь?
Правдин. Котора дверь! Вот эта.
Митрофан. Эта? Прилагательна.
Правдин. Почему ж?
Митрофан. Потому что она приложена к своему месту. Вон у чулана шеста
неделя дверь стоит еще не навешена: так та покамест существительна.
di/text0020.shtml">http://az.lib.ru/f/fonwizindi/text0020.shtml

Вот выдержка из "Справочника русской орфографии и пунктуации" под ред. В. В. Лопатина.

Вопросительно-восклицательные слова (частицы или их сочетания) что, что ли, ну как, что же, как же, ну, а, да ну, надо же выделяются запятыми внутри предложения или отделяются запятой, если стоят в начале предложения: — Сыночек, что, шибко он его зашиб-то? (Шукш.); — Что, хороша? — громко крикнула охрипшим голосом Маргарита Николаевна (Булг.); — Ну что ж, входите, раз звонили! — сказала девица (Булг.); Ну как, решил задачу?

А в справочнике Д. Э. Розенталя говорится следующее.

Слова что, а что, что же, обозначающие вопросы, и слова как, как же, что же, выражающие удивление, подтверждение, согласие и т. п., за которыми следует предложение, раскрывающее их конкретный смысл (после них делается пауза), отделяются запятой...

Ты что же, не идешь с нами?

По структуре это простое предложение.

Надежда, мы на Вашей стороне, нам тоже такой подход очень не нравится. Запросы в нашу справочную службу свидетельствуют о том, что подобные ситуации во время выдачи аттестатов и дипломов возникают ежегодно. Как правило, причина конфликта одна и та же: выпускники и (или) их родители сначала «прессуют» работников школы, а затем жалуются в различные инстанции (вплоть до прокуратуры), требуя не склонять фамилии, которые по всем правилам и нормам должны склоняться.

По нашему мнению, склонение/несклонение фамилии – это не личное дело носителя. Да, это его фамилия, но в то же время это слово и, как и все слова, оно подчиняется грамматическим законам языка. В этом смысле нет разницы между Аттестат выдан Голод Илье и Жители деревни страдали от голод, в обоих предложениях – грамматическая ошибка. К сожалению, многим носителям «нестандартных» фамилий это очень сложно объяснить.

Что делать в подобных ситуациях? По нашему мнению, для начала, вооружившись справочниками, попытаться всё же доказать выпускнику или рассерженному родителю, что фамилию нужно склонять. Поинтересоваться, хотят ли родители, чтобы у их ребенка в аттестате (получение которого – важное событие в жизни человека) навсегда осталась грубая грамматическая ошибка. Если же учащийся или родители упорствуют, если они так хотят получить аттестат с ошибкой – что ж, в конце концов, это их личный выбор...

При наличии родового слова вкус такие названия нужно заключать в кавычки и писать со строчной буквы: вкус «амаретто», вкус «апероль», вкус «банан», вкус «вишня», вкус «джин-тоник», вкус «дюшес», вкус «клубника», вкус «мохито», вкус «персик и манго», вкус «пинаколада», вкус «солёная карамель».

Кстати, лингвист И. Б. Левонтина посвятила подобным конструкциям отдельную главу своей книги "Русский со словарем": "Некоторое время назад в магазинах появилась серия продуктов с удивительными названиями: зефир и пастила «со вкусом йогурт», «с ароматом ваниль», «с ароматом клубника со сливками». <...> Ничто, кажется, не мешало написать «со вкусом йогурта», «с ароматом клубники» или, там, «с ванильным ароматом». Своим недоумением я поделилась со знакомыми рекламщиками, но они покачали головами: «Нет, это специально. Брендинг!» Что ж, как говорится, это многое объясняет.

Да я, в общем, и сама догадывалась, что так исковеркать русский язык можно только нарочно. Если оставить в стороне пуристические установки, логика авторов вполне понятна. Во-первых, выражения «со вкусом йогурта» и «со вкусом йогурт» не вполне тождественны по смыслу. «Со вкусом йогурта» — это, так сказать, импрессионистическое описание. А «со вкусом йогурт» — скорее номенклатурное: ну, то есть, у данной пастилы особый, определенный и всегда одинаковый вкус, который мы условно обозначили как «йогурт». Между прочим, про машины еще в глубоко советское время говорили «цвет баклажан», «цвет мокрый асфальт». Это снимало вопрос о том, какие бывают баклажаны и похожего ли они цвета. Название такое. А вот теперь эта конструкция стремительно распространяется. Живи Чичиков в наши дни, он говорил бы приказчику: «Любезный, а подай-ка мне сукнецо брусника с искрой».

Во-вторых, авторы не рассчитывают на то, что покупатель в магазине будет читать этикетку внимательно. Его глаз, скользя по полкам с товарами, выхватывает отдельные слова. И тут лучше, чтобы ключевые слова были в начальной форме.

Мелкий шрифт, творительный падеж, предлог — это все годится только для проходного «со вкусом». А вот ключевое «йогурт» — крупно и в словарном виде. <...> 

Древние говаривали: «И Цезарь не выше грамматиков» (Nec Caesar supra grammaticos). Цезарь не выше. А брендинг?"

Запятая после пойду не нужна. Не ставится запятая между двумя глаголами в одинаковой форме, указывающими на движение и его цель или образующими единое смысловое целое (в таких сочетаниях нет однородных членов).