Верно: турнир серии Гран-при.
В этом предложении запятая не нужна.
Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.
Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.
Произносим твердо, а пишем букву е, а не э — такова закономерность русского письма. Ср.: партер, темп, термос, спрей, модель и др. Не в начале корня после согласных буква э пишется для передачи гласного э и одновременно для указания на твердость предшествующего согласного только в немногих нарицательных словах иноязычного происхождения. Раньше их было совсем мало (мэр, пэр, сэр), в последние годы список исключений расширился (ср.: сэндвич, фэнтези, фэншуй и др.). Но всё-таки языковеды пытаются максимально сдерживать этот процесс и подавляющее большинство новых заимствований кодифицируют в словарях в написании через е, например: бренд, тренд, лейбл, секонд-хенд, хештег и многие другие.
Это регламентировано орфографическими правилами: "Названия должностей, званий, титулов пишутся со строчной буквы, напр.: президент, канцлер, председатель, министр, премьер-министр, заместитель министра, мэр, император, королева, хан, шейх, генеральный секретарь, заслуженный деятель культуры, лауреат Нобелевской премии, посол, атташе, директор, генеральный директор, академик, доктор наук, профессор, член-корреспондент, генерал-майор, командующий войсками, руководитель департамента, заведующий отделом, управляющий делами.
В официальных текстах названия высших государственных должностей и титулов пишутся с прописной буквы, напр.: Президент Российской Федерации, Председатель Правительства РФ, Председатель Государственной думы, Премьер-министр Индии, Её Величество Королева Англии (см. также § 202). Однако в неофициальных текстах эти названия пишутся со строчной буквы, напр.: выборы президента, выступление председателя Госдумы, распоряжение премьер-министра, приём у королевы" (§ 196).
Это недавно заимствованное слово испытывало колебания в написании (что часто бывает с иноязычными словами, пока они осваиваются в языке), отсюда и разнобой в словарных рекомендациях. Предпочтительно использовать вариант Хеллоуин – во-первых, потому, что такова фиксация в орфографическом словаре (при разнобое в словарных рекомендациях «весомее» указания орфографического словаря, если речь идет о правописании), во-вторых, потому, что такое написание соответствует правилам русского письма. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.
Названия должностей, званий, титулов пишутся со строчной буквы, напр.: президент, канцлер, председатель, министр, премьер-министр, заместитель министра, мэр, император, королева, хан, шейх, генеральный секретарь, заслуженный деятель культуры, лауреат Нобелевской премии, посол, атташе, директор, генеральный директор, академик, доктор наук, профессор, член-корреспондент, генерал-майор, командующий войсками, руководитель департамента, заведующий отделом, управляющий делами.
В официальных текстах названия высших государственных должностей и титулов пишутся с прописной буквы, напр.: Президент Российской Федерации, Председатель Правительства РФ, Председатель Государственной думы, Премьер-министр Индии, Её Величество Королева Англии. Однако в неофициальных текстах эти названия пишутся со строчной буквы, напр.: выборы президента, выступление председателя Госдумы, распоряжение премьер-министра, приём у королевы.
(Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006.)
Написание первой части кеш- через е связано с общей закономерностью русского письма: не в начале корня после согласных буква э пишется для передачи гласного э и одновременно для указания на твердость предшествующего согласного только в немногих нарицательных словах иноязычного происхождения. Раньше их было совсем мало (мэр, пэр, сэр), в последние годы список исключений расширился (ср.: сэндвич, фэнтези, фэншуй и др.), но все-таки в большинстве случаев такие слова пишутся с буквой е, особенно когда есть родственное слово с устойчивым е (кеширование).
Для части -бэк действует своя, отдельная закономерность. Английское back может передаваться в русском с буквой е, как, например, в слове хавбек (старое заимствование), однако большинство слов с данной частью (особенно недавно заимствованных) пишутся с э, например: бэк-вокал, бэкграунд, бэк-офис, флешбэк, хетчбэк и др.
Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).
Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:
Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;
Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975.