Прежде всего отметим, что словосочетание правила русского языка не вполне корректно: о правилах можно говорить применительно не к языку, а к правописанию (правописание и язык – не одно и то же, хотя в школе на уроках русского языка учат главным образом правильному письму, поэтому у многих и создается впечатление, что изучение языка – это изучение правил орфографии и пунктуации). Применительно к языку следует говорить о нормах – в данном случае (если речь идет о роде слова кофе) нормах грамматических. Нормы фиксируются словарями и грамматиками, и фиксация нормы, разумеется, всегда вторична: не «так говорят, потому что так в словаре», а «так в словаре, потому что так говорят».

Главная особенность нормы – ее динамичность. Если в языке ничего не меняется, значит язык мертв. В живом языке постоянно рождаются новые варианты и умирают старые; то, что вчера было недопустимо, сегодня становится возможным, а завтра – единственно верным. И если лингвист видит, что норма меняется, он обязан зафиксировать это изменение. Появление в языке новых вариантов, действительно, приводит (со временем, иногда спустя очень долгое время) к их фиксации в словарях – это не «подгонка правил под ошибки», а объективная фиксация изменившейся нормы; по словам известного лингвиста К. С. Горбачевича, научная деятельность не должна сводиться «ни к искусственному консервированию пережитков языка, ни к бескомпромиссному запрещению языковых новообразований». В то же время словари, в которых зафиксированы языковые варианты, должны выполнять нормализаторскую функцию, поэтому в них разработана строгая система помет: какие-то варианты признаются неправильными, какие-то допустимыми, а какие-то – равноправными. И это, пожалуй, самое сложное в работе лингвиста–кодификатора: определить, какие варианты сейчас можно считать допустимыми, а какие – нет. Эта работа, разумеется, всегда вызывала и будет вызывать критику, поскольку язык – это достояние всех его носителей и каждого в отдельности.

Таким образом, фиксация новых вариантов, ранее признававшихся недопустимыми, – это не самоцель для лингвиста, а его обязанность, часть его работы (не случайно В. И. Даль писал: «Составитель словаря не указчик языку, а служитель, раб его»). Вместе с тем лингвист обязан отделить правильное от неправильного, нормативное от ненормативного и дать рекомендации относительно грамотного словоупотребления (т. е. все-таки стать указчиком – для носителей языка). Критериев признания правильности речи, нормативности тех или иных языковых фактов несколько, при этом массовость и регулярность употребления – только один из них. Например, ударение звОнит тоже массово распространено, но нормативным в настоящее время не признается, поскольку такое ударение не отвечает другим критериям, необходимым для признания варианта нормативным. Хотя очень вероятно, что  со временем такое ударение и станет допустимым (а через пару столетий, возможно, и единственно верным).

После этого долгого, но необходимого предисловия ответим на Ваш вопрос. Употребление слова кофе как существительного среднего рода сейчас признается допустимым в непринужденной разговорной речи. На письме (а также в строгой, официальной устной речи) слово кофе по-прежнему следует употреблять как существительное мужского рода – такова сейчас литературная норма.

На Ваш первый вопрос о «полумягких» согласных был дан, как нам представляется, исчерпывающий ответ. В частности, в нашем ответе было сказано, что твердые согласные в современном русском произношении реализуются как «полумягкие» (или, если использовать фонетическую терминологию, невеляризованные) звуки в позициях перед мягкими согласными. Другими словами, твердые согласные, которые перед гласными являются веляризованными (см. наш предыдущий ответ), теряют свою веляризацию перед мягкими согласными и на слух воспринимаются как несколько менее твердые, или «полумягкие».

В том же ответе нами были приведены примеры транскрипции слов дверь, твёрдый в фонематической и фонетической транскрипции /дв’ер’/ = [д·в’ер’], /тв’ордыj/ = [т·в’ордыj], где «полумягкость» обозначена точкой вверху после согласного. Ср. двор, твой /двор/ = [двор], /твоj/ = [твоj], где первые согласные произносятся как полноценно твердые, т. е. веляризованные.

В русской фонетической транскрипции веляризованность твердых согласных традиционно не обозначается, так как она в сущности не ощущается неискушенными носителями языка. Но она может быть и обозначена. Так, в Международном фонетическом алфавите (МФА) для это цели имеется специальный символ ˠ (ср. двор [дˠвˠорˠ], твой [тˠвˠоj]), но его не принято использовать, потому что он лишь загромождает транскрипцию и практически ничего не дает. Носители русского языка не ощущают веляризованности, как, впрочем, и ее отсутствия, т. е. «полумягкости».

Другое дело твердость и мягкость согласных. Приведенные нами слова дверь и твёрдый с «полумягкими» согласными в старомосковском произношении произносились с полноценно мягкими согласными (а не «полумягкими»!): /д’в’ер’/ = [д’в’ер’], /т’в’ордыj/ = [т’в’ордыj]. Сейчас такое произношение встречается редко и рассматривается как особенность старшей нормы литературного произношения. И носители языка при некоторой тренировке легко могут научиться слышать разницу в старшей и младшей норме произношения первых согласных слов дверь и твёрдый, потому что «полумягкие» – это реализация твердых согласных, а «полноценно мягкие» – мягких: ср. /д’в’ер’/ = [д’в’ер’], /т’в’ордыj/ = [т’в’ордыj] (старшая норма) и /дв’ер’/ = [д·в’ер’], /тв’ордыj/ = [т·в’ордыj] (младшая норма).

Предпочтителен глагол мучиться (они мучатся). Глагол мучаться (они мучаются) носит разговорный отттенок. 

Литературная норма: обжалованы в суде.

Нет, в 1970-е, как и сейчас, вариант катАлог признавался не соответствующим литературной норме. При этом он (как и сейчас) часто встречался в речи, в том числе в речи библиотечных работников. Интересно, что в книге К. С. Горбачевича «Вариантность слова и языковая норма» (Л., 1978) указывалось, что варианты некрОлог, катАлог «являются сильными конкурентами традиционной нормы, и престижно-культурный фактор со временем, возможно, и отступит перед автоматизмом речевого стандарта». Но, как мы видим, пока этого не произошло, в наши дни этот престижно-культурный фактор всё еще силен.

Строгая литературная норма: догово́р, догово́ры, в непринужденной устной речи допустим вариант до́говор, договора́. Приведем интересную цитату из «Словаря трудностей произношения и ударения в современном русском языке» Кирилла Сергеевича Горбачевича: «Сейчас еще трудно с уверенностью сказать, станет ли со временем ударение до́говор столь же нормативным и эстетически приемлемым, как догово́р. Предпосылки для этого есть. Не только часть интеллигенции, но и некоторые современные известные поэты употребляют вариант до́говор: Но ты не пугайся. Я договор наш не нарушу, Не будет ни слез, ни вопросов, ни даже упрека (Ольга Берггольц. Ничто не вернется...). В книге «Живой как жизнь» Корней Чуковский предсказывал, что варианты до́говор, договора́ станут в будущем нормой литературного языка.

Небольшое замечание: многие полагают, что вариант до́говор, договора́ — нововведение последних лет. Однако указание на допустимость такого ударения в разговорной речи можно найти в изданиях полувековой давности, например в словаре-справочнике Р. И. Аванесова, С. И. Ожегова «Русское литературное произношение и ударение» (М., 1959).