Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975. 

Такое бывает: новые слова первое время могут испытывать колебания в написании, что отражается словарями. Общее правило для подобных случаев: главный словарь, по которому мы определяем написание слова, – орфографический. Правильно: рэпер (как в орфографическом словаре). 

Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.

Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.

Вот как объясняет профессор Владимир Владимирович Лопатин написание шопинг (а также блогер, блогинг и т. п.). В новейшей орфографической практике проблема написания удвоенных согласных на конце корня осложнилась особенностями написания некоторых новых заимствований-англицизмов в языке-источнике, для которого характерно удвоение корневого согласного перед суффиксом. Поскольку явление это русскому письму чуждое, следует писать, например,  шопинг, но не шоппинг (ср. прозводящее шоп, также заимствованное из английского), блогер и блогинг (ср. блог), сканер (ср. сканировать), спамер (ср. спам), рэпер (ср. рэп), хотя в английских этимонах этих прозводных перед суффиксами -er и -ing согласная удвоена. Устоявшиеся написания давно заимствованных слов стоппер (спорт.) и контроллер (тех.), к тому же устойчиво произносимые с долгим согласным, не должны препятствовать кодификации  написаний новых подобных заимствований с одиночной согласной перед суффиксом.

Сказанное, однако, не относится к заимствованиям-англицизмам типа баннер, плоттер, джоггинг, киднеппинг и др., у которых в русском языке нет однокоренных соответствий с одиночной согласной.

О написании слова файф-о-клок см. ответ на вопрос № 253634.

Лучше выбрать вариант хетчинг. Во-первых, по нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е; буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. Во-вторых, в словарях русского языка уже зафиксировано слово хетчбэк, в котором первая часть восходит к тому же английскому корню.

Есть еще несколько случаев, когда после согласных пишется э. Это написание после приставок или составных частей сложных и сложносокращенных слов (предэкзаменационный, сэкономить; двухэтажный, Мосэнерго); написание во многих собственных именах иноязычного происхождения и производных от них словах (Бэкон, Дэвид, Сэлинджер; Мэриленд, Тайбэй, Улан-Удэ, Хуанхэ). Кроме того, э пишется в названиях букв (бэ, вэ, гэ и др.), в составе аббревиатур, пишущихся по названиям букв, и слов, образованных от буквенных аббревиатур, напр.: бэтээры, кавээнщик, гэпэушник, кагэбэшный, в звуковых аббревиатурах и образованных от них словах, напр.: ГЭС, ТЭЦ, ВТЭК, НЭП, втэковский, нэпман. 

Но в целом закономерность, о которой Вы говорите, существует. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Это недавно заимствованное слово испытывало колебания в написании (что часто бывает с иноязычными словами, пока они осваиваются в языке), отсюда и разнобой в словарных рекомендациях. Предпочтительно использовать вариант Хеллоуин – во-первых, потому, что такова фиксация в орфографическом словаре (при разнобое в словарных рекомендациях «весомее» указания орфографического словаря, если речь идет о правописании), во-вторых, потому, что такое написание соответствует правилам русского письма. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. 

Словарной фиксации пока нет. Но выбрать следует написание фейсинг. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Кроме того, «Русским орфографическим словарем» РАН (4-е изд. М., 2012) зафиксированы слова фейс, фейсконтроль.

Правильно: джиу-джитсу. См.: Русский орфографический словарь РАН / Под ред. В. В. Лопатина, О. Е. Ивановой. – 4-е изд., испр. и доп. – М., 2012.

Что касается первого слова: словарной фиксации нет, корректно написание грепплинг. Не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква Е (ср.:  бизнес, бренд, коттедж, партер, стенд, инерция); буква Э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Здесь как раз все последовательно, никаких метаний. Авторы консервативно предлагают не увеличивать имеющееся количество корней с Э, справедливо предполагая, что новые для русского языка слова имеют тенденцию к освоению и смягчению, нельзя чисто орфографическим путем лишать их шанса фонетически освоиться в будущем. Учитывается при этом, что в русском языке множество заимствованных слов уже пишутся с Е после твердого согласного, и таких слов куда больше, чем слов с Э. Иначе и слово "бутерброд", и "компьютер"  нужно писать с ТЭ... Напомним также и о некогда бытовавшем (полустихийном) написании "плэйер".