Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975. 

Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.

Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.

Лучше выбрать вариант хетчинг. Во-первых, по нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е; буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. Во-вторых, в словарях русского языка уже зафиксировано слово хетчбэк, в котором первая часть восходит к тому же английскому корню.

Есть еще несколько случаев, когда после согласных пишется э. Это написание после приставок или составных частей сложных и сложносокращенных слов (предэкзаменационный, сэкономить; двухэтажный, Мосэнерго); написание во многих собственных именах иноязычного происхождения и производных от них словах (Бэкон, Дэвид, Сэлинджер; Мэриленд, Тайбэй, Улан-Удэ, Хуанхэ). Кроме того, э пишется в названиях букв (бэ, вэ, гэ и др.), в составе аббревиатур, пишущихся по названиям букв, и слов, образованных от буквенных аббревиатур, напр.: бэтээры, кавээнщик, гэпэушник, кагэбэшный, в звуковых аббревиатурах и образованных от них словах, напр.: ГЭС, ТЭЦ, ВТЭК, НЭП, втэковский, нэпман. 

Но в целом закономерность, о которой Вы говорите, существует. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Это недавно заимствованное слово испытывало колебания в написании (что часто бывает с иноязычными словами, пока они осваиваются в языке), отсюда и разнобой в словарных рекомендациях. Предпочтительно использовать вариант Хеллоуин – во-первых, потому, что такова фиксация в орфографическом словаре (при разнобое в словарных рекомендациях «весомее» указания орфографического словаря, если речь идет о правописании), во-вторых, потому, что такое написание соответствует правилам русского письма. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.