Да, в языке есть много устойчивых слов, выражений, названий, неправильных с точки зрения науки, политики, дипломатии... Традиция в языке часто оказывается сильнее терминологической точности. То же касается и названий государств: в обиходной устной и письменной речи мы по-прежнему употребляем названия Южная Корея (хотя в официальных документах будет только Республика Корея), Белоруссия (хотя официальное название Республика Беларусь), Молдавия (хотя официально: Республика Молдова) и т. д.

Таки – частица, пишется через дефис с предшествующим глаголом (вернулся-таки), наречием (довольно-таки, прямо-таки) и в словах всё-таки, так-таки; в остальных случаях – раздельно (он таки приедет; Саша таки добился успеха).

Ко двору – в устойчивых выражениях ко двору (быть, прийтись) 'оказаться подходящим к каким-л. условиям, требованиям и т.п.; оказаться желательным' и не ко двору (быть, прийтись) 'оказаться неподходящим к каким-л. условиям, требованиям и т.п.; оказаться нежелательным'. Также: ко двору (пригласить, призвать), где двор в знач. 'монарх и его приближенные'. В других случаях – к двору, напр.: Всю осень шатался от двора к двору, надеясь пристроиться к кому-нибудь, едущему на клевера... И. Бунин, Деревня.

Ошибки в ответах нет. Пунктуационные нормы описываются не в указанном в Вашем вопросе источнике, а в специальных изданиях — справочниках по пунктуации, в учебниках по русскому языку. Обратившись к «Справочнику по пунктуации» Д. Э. Розенталя (или к переизданиям этого руководства), можно найти следующее правило: 

Не ставится запятая: <...>

2) в устойчивых выражениях: За всё про всё её бранят (Крылов); Ни с того ни с сего обиделся; Поболтали о том о сём... [§ 9, п. 1, примечание 1].

Это устойчивое сочетание, запятая не требуется.

Можно написать первое слово с прописной буквы, если имеется в виду образное наименование города. Кавычки при этом использовать не нужно.

В неофициальных устойчивых, в том числе образных, названиях государств и городов с прописной буквы пишется первое (или единственное) слово, а также (если они есть) собственные имена, напр.: Страна восходящего солнца (о Японии), Страна утренней свежести (о Корее), Поднебесная империя или Поднебесная (об императорском Китае), Страна кленового листа (о Канаде), Страна тюльпанов (о Голландии), Вечный город (о Риме), Белокаменная, Первопрестольная (о Москве), Северная Пальмира (о Петербурге).

В русском языке предлоги «в» и «на» используются в соответствии с определенными правилами, которые, однако, не всегда являются строгими и могут варьироваться в зависимости от контекста и устоявшихся выражений. В случае с «на стадионе» и «на озере» мы говорим о нахождении на открытой местности, и поэтому используем предлог «на». С другой стороны, «в бассейне» подразумевает нахождение внутри чего-то — как правило, внутри помещения в котром находится бассейн. Такое употребление (идти в бассейн, находиться в бассейне) стало устойчивым. 

Правильно: к Татьянину дню (о празднике 25 января), но к Татьяниному дню рождения.

Притяжательные прилагательные на -ин, -нин в современном русском языке склоняются по так называемому местоименному склонению (его первой разновидности), т. е. как местоимение мой: моего – Татьяниного, моему – Татьяниному и т. д. Однако за прилагательными, входящими в состав географических названий, наименований местностей, названий растений и цветов, а также за прилагательными, входящими в состав устойчивых сочетаний, закрепилось притяжательное склонение. В форме род. падежа оно имеет окончание -а (отцова сапога, тришкина кафтана, Татьянина дня) и в дат. падеже – окончание -у (отцову сапогу, тришкину кафтану, Татьянину дню).

Ответить на Ваш вопрос мы попросили д. ф. н. М. Я. Дымарского.

Сказуемое здесь — остаются при своем мнении. Грамматически это составное именное сказуемое, в котором остаются — полузнаменательная связка, а именная часть выражена устойчивым словосочетанием при своем мнении. Действительно, оставаться при своем мнении считается фразеологизмом: так, в пособии "Словарь русской фразеологии. Историко-этимологический справочник" (авторы А. К. Бирих, В. М. Мокиенко, Л. И. Степанова; СПб., 1998) читаем:

«МНЕНИЕ. Оставаться при своем мнении. Не изменять своего мнения. Калька с лат. in sententia manere. Выражение восходит к словам <...> Цицерона».