Надеемся, что мы верно поняли Ваш вопрос о правилах употребления буквы э в современном русском письме. Едва ли есть какие-то особенности ее употребления применительно именно к заимствованиям из японского языка. История буквы э в русском алфавите весьма непроста. Написание е после твердых согласных, парных по твердости-мягкости, в заимствованиях типа тире, модель (вместо *тирэ, *модэль) и др. (то есть написание смягчающей буквы е в заимствованных словах после парных по твердости-мягкости согласных в тех случаях, когда они обозначают твердый согласный звук) само по себе является нарушением слогового принципа графики. Для читающего это нередко становится причиной орфоэпических трудностей: как произносить — О[д'э]сса или О[дэ]сса, эс[т'э]тика или эс[тэ]тика, б[р'э]нд или б[рэ]нд?

Еще в 1930-е годы академик Л. В. Щерба замечал, что «прямо преступно не пользоваться всеми возможными в русской графике средствами для указания правильного произношения». Однако при этом возникала бы иная проблема: что делать по мере обрусевания заимствованных слов, при котором твердые согласные перед э заменяются мягкими (ведь согласный перед орфографическим е остается твердым, как правило, лишь в таких заимствованных словах, которые еще не стали общеупотребительными или сохраняют принадлежность к научному или высокому стилю речи: наши бабушки говорили му[зэ]й, наши мамы — к[рэ]м, а теперь эти слова произносятся в соответствии с написанием), — снова корректировать написание таких слов, меняя при их обрусевании э на е? Это показалось невыгодным, и правилами 1956 года было утверждено написание буквы э после твердых согласных лишь в трех нарицательных существительных (мэр, пэр, сэр), а также в именах собственных. Таким образом, написание буквы е в подобных случаях учитывает изменение произношения слова в будущем и является более практичным. Однако с конца ХХ века написание новых заимствований с буквой э проникает в печать всё чаще и чаще, поскольку это зачастую единственный способ подсказать читателю произношение таких слов. Написание с э сохраняется до тех пор, пока слово еще недостаточно хорошо освоено языком и осознается как явно иноязычное.

Дело в том, что по законам русской орфографии твердость/мягкость парного согласного перед гласным [э] в иноязычных словах не передается: е пишется и после твердых, и после мягких согласных, напр.: темп [т] – температура [т’], э пишется после твердых в ограниченном круге слов, напр.: блэкаут, мэр, нэцке, пленэр, пэр, рэкет, сэндвич, сэр, тхэквондо, фэнтези, фэншуй. 

О том, как осваиваются языком заимствованные слова и как это влияет на кодификацию, пишет член Орфографической комиссии РАН О. Е. Иванова в орфографическом комментарии к словарной фиксации кешбэк: «Иностранные слова входят в наш язык как чужие, со своими фонетическими особенностями, но постепенно, очень постепенно русский язык их осваивает, приучает к нашей «системе ценностей». На фонетическом уровне процесс освоения выражается, в частности, в смягчении изначально твердого согласного перед звуком [э]: ведь в нашей фонетической системе в русских словах перед звуком [э] произносится мягкий согласный и поэтому пишется буква е (белый, дело, мелкий), при этом существуют лишь единичные исключения из этого фонетического правила (к ним относятся названия букв бэ, вэ, гэ, дэ… и производные от них слова, например бэшки ʻученики класса Бʼ), в которых твердый согласный логично передается последующей гласной буквой э, а не е. <...> Лингвисты учитывают ход исторического процесса на материале многих однотипных слов, наблюдают изменения в их произношении условно ʻвчераʼ и ʻсегодняʼ и решают: в словаре следует дать такое написание, которое не помешает процессу обрусения, то есть в нашем случае это кеш – его можно произносить и [к]еш, и [кʼ]еш. В противном случае – если зафиксировать кэш, то закрепляется твёрдое произношение согласного в этом слове. И вообще, целесообразнее «склонять» слово присоединиться к правилу, а не к исключениям».

Произносим твердо, а пишем букву е, а не э — такова закономерность русского письма. Ср.: партер, темп, термос, спрей, модель и др. Не в начале корня после согласных буква э пишется для передачи гласного э и одновременно для указания на твердость предшествующего согласного только в немногих нарицательных словах иноязычного происхождения. Раньше их было совсем мало (мэр, пэр, сэр), в последние годы список исключений расширился (ср.: сэндвич, фэнтези, фэншуй и др.). Но всё-таки языковеды пытаются максимально сдерживать этот процесс и подавляющее большинство новых заимствований кодифицируют в словарях в написании через е, например: бренд, тренд, лейбл, секонд-хенд, хештег и многие другие. 

Написание первой части кеш- через е связано с общей закономерностью русского письма: не в начале корня после согласных буква э пишется для передачи гласного э и одновременно для указания на твердость предшествующего согласного только в немногих нарицательных словах иноязычного происхождения. Раньше их было совсем мало (мэр, пэр, сэр), в последние годы список исключений расширился (ср.: сэндвич, фэнтези, фэншуй и др.), но все-таки в большинстве случаев такие слова пишутся с буквой е, особенно когда есть родственное слово с устойчивым е (кеширование). 

Для части -бэк действует своя, отдельная закономерность. Английское back может передаваться в русском с буквой е, как, например, в слове хавбек (старое заимствование), однако большинство слов с данной частью (особенно недавно заимствованных) пишутся с э, например: бэк-вокал, бэкграунд, бэк-офис, флешбэк, хетчбэк и др.

Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975. 

Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.

Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.

Лучше выбрать вариант хетчинг. Во-первых, по нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е; буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. Во-вторых, в словарях русского языка уже зафиксировано слово хетчбэк, в котором первая часть восходит к тому же английскому корню.

Есть еще несколько случаев, когда после согласных пишется э. Это написание после приставок или составных частей сложных и сложносокращенных слов (предэкзаменационный, сэкономить; двухэтажный, Мосэнерго); написание во многих собственных именах иноязычного происхождения и производных от них словах (Бэкон, Дэвид, Сэлинджер; Мэриленд, Тайбэй, Улан-Удэ, Хуанхэ). Кроме того, э пишется в названиях букв (бэ, вэ, гэ и др.), в составе аббревиатур, пишущихся по названиям букв, и слов, образованных от буквенных аббревиатур, напр.: бэтээры, кавээнщик, гэпэушник, кагэбэшный, в звуковых аббревиатурах и образованных от них словах, напр.: ГЭС, ТЭЦ, ВТЭК, НЭП, втэковский, нэпман. 

Но в целом закономерность, о которой Вы говорите, существует. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Это недавно заимствованное слово испытывало колебания в написании (что часто бывает с иноязычными словами, пока они осваиваются в языке), отсюда и разнобой в словарных рекомендациях. Предпочтительно использовать вариант Хеллоуин – во-первых, потому, что такова фиксация в орфографическом словаре (при разнобое в словарных рекомендациях «весомее» указания орфографического словаря, если речь идет о правописании), во-вторых, потому, что такое написание соответствует правилам русского письма. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. 

Словарной фиксации пока нет. Но выбрать следует написание фейсинг. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Кроме того, «Русским орфографическим словарем» РАН (4-е изд. М., 2012) зафиксированы слова фейс, фейсконтроль.