Возможно, это укоренившаяся ошибка. Вот здесь интересное обсуждение (нам близко мнение участника дискуссии под ником Mitrius).

Байка – короткий забавный рассказ анекдотического или поучительного характера; побасёнка. // Вымысел, выдумка, небылица.

Именно слово байка указывает на то, что фраза ставит под сомнение сжигание.

Такое употребление допустимо. «Толковый словарь иноязычных слов» Л. П. Крысина дает такое определение слову костёл: 'католический храм (в Польше, Прибалтике и др.)'. Таким образом, словом костёл можно называть не только польские католические храмы.

Нормативно написание однословных приложений, предшествующих определяемому слову или следующих за ним, через дефис (приложение присоединяется дефисом): улица Гвардейцев-Широнинцев. Ср.: улица Героев-Панфиловцев (в Москве; такое написание зафиксировано орфографическим словарем В. В. Лопатина, И. В. Нечаевой, Л. К. Чельцовой «Прописная или строчная?»). При этом исторически может использоваться другой способ написания (раздельное написание, через пробел).

Да, в современном русском языке в глаголе избегать 'сторониться чего-либо, уклоняться от чего-либо' выделяется корень избег-, а в глаголе избегать 'бегая, побывать во многих местах' – корень -бег-. Разумеется, исторически в слове избегать тоже выделяется корень -бег- и приставка из-, оно родственно глаголу бежать 'сторониться'. Но в современном языке приставка в этом глаголе уже не выделяется.

Слова брак 'свадьба' и брак 'изъян, недоброкачественный товар' – омонимы, они имеют различное происхождение, их значения никоим образом не связаны друг с другом. Брак ('свадьба') – славянское слово, исторически связанное с глаголом брать. Брак ('недоброкачественное изделие') заимствовано в XVII веке через польское посредство из немецкого языка, где Brack 'негодный товар' < 'лом' – производное от brechen 'ломать'.

Это широко распространенная диалектная форма дательного падежа существительных 1-го склонения, которая проникает и в городское просторечие (ср. также диалектную форму родительного падежа у сестре, где окончание совпадает с окончанием дательного падежа в литературном языке). Возникновение таких форм исторически объясняется взаимодействием твердого и мягкого типов склонения, которое в литературном языке и в диалектах осуществлялось по-разному.

В современном русском языке глагол полоскать (промывать после стирки, мытья, погружая в чистую воду) является непроизводным, то есть он ни от чего не образуется. Исторически, по предположениям этимологов, полоскать восходит к древнему звукоподражательному слову, звучавшему примерно как «пол». Русскому слову полоскать с полногласным сочетанием оло соответствует церковнославянское пласкати с неполногласным ла (ср. подобные пары: золото – злато,  волосы – власы). 

Сам язык как исторически сложившаяся система звуковых, словарных и грамматических средств, конечно, не может быть грамотным или неграмотным, хорошим или плохим. Но если слово язык употребляется в значении 'способ словесного выражения, свойственный кому-либо, индивидуальный стиль, слог', то такие сочетания допустимы. Например, не будет ошибкой сказать о ком-то, кто говорит красиво и грамотно, что он говорит на хорошем литературном языке.