Ошибкой это не является.

Флексией.

До орфографической реформы 1917—18 годов слово могло, по давно установившейся традиции, оканчиваться или гласной буквой, или твердым знаком (он назывался «ер»), или мягким знаком (он назывался «ерь»). Много столетий назад буквы «ер» и «ерь» тоже обозначали особые (очень короткие) гласные звуки, но эти звуки давно исчезли из нашего языка.

Происхождение традиции писать «ер» и «ерь» на конце слов можно объяснить следующим образом. При письме без пробелов между словами «ер» и «ерь» показывали границу слова, т. е., даже перестав обозначать гласные звуки, эти буквы выполняли очень важную функцию — указывать на конец слова. Привычка видеть эти буквы в конце слова оказалась так сильна, что они остались и после того, как стало обычным разделять слова пробелами.

Осколок этой традиции сохранился и в современном русском языке — в виде написания ь на конце слов после шипящих: мышь, ночь, рожь, стричь. Никаких разумных причин писать ь в этой позиции нет, такое написание просто дань традиции (его тоже предполагали отменить реформой 1917—18 и оставили в самый последний момент).

Слово наконец здесь в значении 'в конечном итоге', поэтому запятые не нужны.

Это возможно. В таком случае окончание принято называть внутренней флексией.

Аналитические формы образуются при помощи сочетаний служебных и полнозначных слов. Аналогичные синтетические формы образуются путем добавления флексий и аффиксов.

Большой толковый словарь

Короткий ответ на Ваш вопрос примерно таков. Буква э неслучайно появилась в русской кириллице только в эпоху Петра I — до этого времени в ней не было необходимости, так как звук этот (без сочетания с предшествующим [й], как в словах типа ель, поешь и т. п.) в исконно русских словах не встречался вовсе. Именно в эпоху массового заимствования русским языком слов из языков западноевропейских эта буква и понадобилась — и стала несомненным маркером заимствований. Против введения ее в алфавит яростно протестовал М. В. Ломоносов, писавший: "...ежели для иностранных выговоров вымышлять новые буквы, то будет наша азбука с китайскую". Последовательным сторонником использования буквы э в современном русском письме был Л. В. Щерба, который, однако, замечал: "Единственным оправданием правописания е вместо э в нарицательных заимствованных словах является постоянно протекающий процесс русификации этих слов. По мере их словарного освоения происходит и русификация их произношения, что, конечно, происходит чаще". Иначе говоря, произношение заимствованных слов со временем меняется. Теперь нормативно произношение слов типа музей, пионер, крем и т. п. с мягким согласным вместо изначального твердого. А периодически менять орфографию подобных заимствований было бы не слишком удобно. 

Запятая в подобных конструкциях ставится. Ср.: И добро б уж закололи вы его: бог с ним, с Алексеем Иванычем; я и сам до него не охотник (А. С. Пушкин, Капитанская дочка).