Правильно: джиу-джитсу. См.: Русский орфографический словарь РАН / Под ред. В. В. Лопатина, О. Е. Ивановой. – 4-е изд., испр. и доп. – М., 2012.

Что касается первого слова: словарной фиксации нет, корректно написание грепплинг. Не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква Е (ср.:  бизнес, бренд, коттедж, партер, стенд, инерция); буква Э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Правильно: бренд. Это слово, действительно, испытывало колебания в написании (что характерно для заимствованных слов в процессе их освоения языком), отсюда и различная словарная фиксация. Однако написание бренд сейчас «узаконено» «Русским орфографическим словарем» РАН, оно соответствует традиции русского письма: не в начале корня после согласных в словах иноязычного происхождения, как правило, пишется буква Е (ср.:  бизнесмен, коттедж, партер, стенд, инерция); буква Э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Корректно: вейп. Не в начале корня после согласного буква э пишется лишь в очень немногих словах (рэп, мэр, мэтр, сэр, пэр и некоторых других). Это именно исключения, расширение списка слов с э не соответствовало бы закономерностям русской орфографии.

Что касается второго слова, здесь сложно дать однозначную рекомендацию, т. к. единого правила нет. Одни новые иноязычные заимствования закрепляются в слитном написании, другие – в дефисном. Надо подождать, пока слово освоится языком. Пока можно сказать, что сложные существительные с первой частью, самостоятельно употребляющейся, и второй, самостоятельно не употребляющейся, чаще пишутся слитно, хотя из этого правила есть много исключений. Поэтому предпочтительный вариант: боксмод.

Беглые гласные регулярно появляются в прилагательных с основой на согласный + н или к, где н обычно восходит к древнерусскому суффиксу -ьн-, а к — к суффиксам -ък- или -ьк-. Перед н появляется беглый гласный е (исключения: полон, смешон), а перед к — беглые гласные о или е (последний выступает после йота, мягких согласных и шипящих: горек, боек, тяжек). Если основа оканчивается на другую группу согласных, то беглый гласный, как правило, отсутствует: бодр, пошл, трезв. Есть несколько исключений: долог, светел, кисел, тёпел (и ненормативное тёпл), хитёр (и ненормативное хитр), востёр, остёр (и остр), шустёр (и шустр).

Это недавно заимствованное слово испытывало колебания в написании (что часто бывает с иноязычными словами, пока они осваиваются в языке), отсюда и разнобой в словарных рекомендациях. Предпочтительно использовать вариант Хеллоуин – во-первых, потому, что такова фиксация в орфографическом словаре (при разнобое в словарных рекомендациях «весомее» указания орфографического словаря, если речь идет о правописании), во-вторых, потому, что такое написание соответствует правилам русского письма. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (ср.: бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем. 

Корректно написание без кавычек. 

Говоря о нарицательных словах, вы, вероятно, имеете в виду правило 1956 года: «После согласных пишется е, кроме слов пэр, мэр, сэр, а также некоторых собственных имен, например: Улан-Удэ, Бэкон, Тэн». С середины ХХ века список исключений к правилу значительно пополнился новыми заимствованиями (например: бэкграунд, сэндвич (наряду с сандвич), фэнтези, хетчбэк), а также старыми словами, которые устойчиво писались с э вопреки правилу и первоначальной фиксации в орфографическом словаре (пленэр, мэтр). Более полный список слов с э дан в справочнике ресурса «Орфографическое комментирование русского словаря» (см. правило 6).  

Для русской передачи иностранных собственных имен были разработаны специальные рекомендации, см., например:

Р. С. Гиляревский, Б. А. Старостин. Иностранные имена и названия в русском тексте. 3-е изд., испр. и доп. М., 1985;

Инструкция по русской передаче английских географических названий / Гл. упр. геодезии и картографии при Совете Министров СССР. М., 1975. 

Есть еще несколько случаев, когда после согласных пишется э. Это написание после приставок или составных частей сложных и сложносокращенных слов (предэкзаменационный, сэкономить; двухэтажный, Мосэнерго); написание во многих собственных именах иноязычного происхождения и производных от них словах (Бэкон, Дэвид, Сэлинджер; Мэриленд, Тайбэй, Улан-Удэ, Хуанхэ). Кроме того, э пишется в названиях букв (бэ, вэ, гэ и др.), в составе аббревиатур, пишущихся по названиям букв, и слов, образованных от буквенных аббревиатур, напр.: бэтээры, кавээнщик, гэпэушник, кагэбэшный, в звуковых аббревиатурах и образованных от них словах, напр.: ГЭС, ТЭЦ, ВТЭК, НЭП, втэковский, нэпман. 

Но в целом закономерность, о которой Вы говорите, существует. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

На этот вопрос в справочной литературе можно найти противоположные ответы. В «Справочнике по правописанию, произношению, литературному редактированию» Д. Э. Розенталя, Е. В. Джанджаковой, Н. П. Кабановой указано, что названия рек согласуются с родовым наименованием, и приведен пример между реками Обью и Енисеем. В то же время другие пособия указывают, что с географическим термином река наблюдается тенденция склонять названия женского рода и не склонять названия мужского рода: у реки Волги, но на реке Енисей.

На практике встречается как склонение, так и несклонение названий рек в подобных конструкциях, ср.: 

• Пространство между реками Доном и Непрядвой называлось Куликовым полем. С. Голицын. Сказания о земле Московской (1968-1988)
• Трудно было пробираться речными путями на Пясину, поэтому решили установить морскую связь между реками Енисей и Пясина. М. Белов. Мангазея (1969) 
• Пять тысяч лет назад такими «умными соседями» оказались жители двух речных долин — на Ниле (Египет) и между реками Тигр и Евфрат (Месопотамия). А. Алексеев. Из жизни древнего Египта // «Наука и жизнь», 2007

• Между реками Енисеем и Хатангой (в так называемом Енисей-Хатангском региональном прогибе) открыты газовые залежи, и специалисты прогнозируют наличие здесь нефти. Е. Сидорова. Притяжение Арктики // «Наука в России», 2012.

Таким образом, допустимы варианты, и окончательное решение в подобной ситуации — за автором (редактором) текста. Ошибки в любом случае не будет.

1. Аббревиатура в данном случае заключается в кавычки, так же как нужно было бы заключить в кавычки полное название: театр-студия "КИТ".

2. Нет, не нужно.

3. Формально - не является.