1. Энциклопедия «Русский язык» под ред. Ю. Н. Караулова (М., 1997) о букве Й сообщает следующее: с начала XVIII в. буква Й называлась «и с краткой» по значку «кратка» над буквой; во второй половине XIX в. по предложению Я. К. Грота стала называться «и краткое»; во второй половине ХХ в. возникло новое название  «й» (читается [ий]). Во многих современных словарях и справочниках эту букву продолжают именовать «по Гроту» – «и краткое». См., напр.: «Большой академический словарь русского языка» (Т. 7. М., СПб., 2007) и «Правила русской орфографии и пунктуации. Полный академический справочник» (под ред. В. В. Лопатина. М., 2006). Таким образом, следует признать, что сейчас допустимо два названия для буквы Й – «и краткое» и «й».

2. Современное название буквы Э – «э» (читается [э]), а название «э оборотное» – старое. См. источники, указанные выше.

3. О названиях букв Ж и Ц можно прочитать в ответе на вопрос № 282817.

Название «э оборотное» – старое, традиционное название буквы Э, оно соотносит начертание буквы с «перевернутой» кириллической буквой Е. Сейчас при перечислении букв русского алфавита добавлять слово «оборотное» необязательно.

Приведенное Вами выражение чаще записывается в современной графике — с буквой и. Кавычки в нем возникают под влиянием специальных текстов (в частности, лингвистических), в которых буквы принято выделять курсивом (так, например, в наших ответах). Однако курсив в названиях букв, записанных словом (бэ, вэ, же, твердый знак, фита, ижица, э оборотное, и десятеричное, и восьмеричное, и краткое, и), как и кавычки, избыточен. Приведем другие примеры фразеологизмов с названиями букв: на ять, писать (выделывать) мыслете, от аза до ижицы, от альфы до омеги, от а до я. Если во фразеологизме необходимо заменить и на i, то кавычки тем более не нужны: иная графика (латиница или вышедшие из употребления буквы кириллицы) — достаточное средство выделения.

Наша общая рекомендация — не выделять букву во фразеологизме ни курсивом, ни кавычками (см. также фиксацию фразеологизма и других названий букв в базе орфографического академического ресурса «Академос»). Но мы не можем не отметить, что иногда от общих рекомендаций приходится отступать под влиянием всего текста, его оформления, расположения на странице. Такие решения принимает редактор.