Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975. 

Такое бывает: новые слова первое время могут испытывать колебания в написании, что отражается словарями. Общее правило для подобных случаев: главный словарь, по которому мы определяем написание слова, – орфографический. Правильно: рэпер (как в орфографическом словаре). 

Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.

Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.

Вот как объясняет профессор Владимир Владимирович Лопатин написание шопинг (а также блогер, блогинг и т. п.). В новейшей орфографической практике проблема написания удвоенных согласных на конце корня осложнилась особенностями написания некоторых новых заимствований-англицизмов в языке-источнике, для которого характерно удвоение корневого согласного перед суффиксом. Поскольку явление это русскому письму чуждое, следует писать, например,  шопинг, но не шоппинг (ср. прозводящее шоп, также заимствованное из английского), блогер и блогинг (ср. блог), сканер (ср. сканировать), спамер (ср. спам), рэпер (ср. рэп), хотя в английских этимонах этих прозводных перед суффиксами -er и -ing согласная удвоена. Устоявшиеся написания давно заимствованных слов стоппер (спорт.) и контроллер (тех.), к тому же устойчиво произносимые с долгим согласным, не должны препятствовать кодификации  написаний новых подобных заимствований с одиночной согласной перед суффиксом.

Сказанное, однако, не относится к заимствованиям-англицизмам типа баннер, плоттер, джоггинг, киднеппинг и др., у которых в русском языке нет однокоренных соответствий с одиночной согласной.

О написании слова файф-о-клок см. ответ на вопрос № 253634.

Лучше выбрать вариант хетчинг. Во-первых, по нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е; буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. Во-вторых, в словарях русского языка уже зафиксировано слово хетчбэк, в котором первая часть восходит к тому же английскому корню.