Кавычки не нужны.
Приведенное Вами выражение чаще записывается в современной графике — с буквой и. Кавычки в нем возникают под влиянием специальных текстов (в частности, лингвистических), в которых буквы принято выделять курсивом (так, например, в наших ответах). Однако курсив в названиях букв, записанных словом (бэ, вэ, же, твердый знак, фита, ижица, э оборотное, и десятеричное, и восьмеричное, и краткое, и), как и кавычки, избыточен. Приведем другие примеры фразеологизмов с названиями букв: на ять, писать (выделывать) мыслете, от аза до ижицы, от альфы до омеги, от а до я. Если во фразеологизме необходимо заменить и на i, то кавычки тем более не нужны: иная графика (латиница или вышедшие из употребления буквы кириллицы) — достаточное средство выделения.
Наша общая рекомендация — не выделять букву во фразеологизме ни курсивом, ни кавычками (см. также фиксацию фразеологизма и других названий букв в базе орфографического академического ресурса «Академос»). Но мы не можем не отметить, что иногда от общих рекомендаций приходится отступать под влиянием всего текста, его оформления, расположения на странице. Такие решения принимает редактор.
Для постановки указанной запятой нет оснований. Предложение построено верно, если слова незадолго до этого относятся к обеим частям сложного предложения погибают семь членов экспедиции и последний выживший берет меня в плен.
Слово начало в винительном падеже, это второе школьное склонение.