Приведенное Вами выражение чаще записывается в современной графике — с буквой и. Кавычки в нем возникают под влиянием специальных текстов (в частности, лингвистических), в которых буквы принято выделять курсивом (так, например, в наших ответах). Однако курсив в названиях букв, записанных словом (бэ, вэ, же, твердый знак, фита, ижица, э оборотное, и десятеричное, и восьмеричное, и краткое, и), как и кавычки, избыточен. Приведем другие примеры фразеологизмов с названиями букв: на ять, писать (выделывать) мыслете, от аза до ижицы, от альфы до омеги, от а до я. Если во фразеологизме необходимо заменить и на i, то кавычки тем более не нужны: иная графика (латиница или вышедшие из употребления буквы кириллицы) — достаточное средство выделения.

Наша общая рекомендация — не выделять букву во фразеологизме ни курсивом, ни кавычками (см. также фиксацию фразеологизма и других названий букв в базе орфографического академического ресурса «Академос»). Но мы не можем не отметить, что иногда от общих рекомендаций приходится отступать под влиянием всего текста, его оформления, расположения на странице. Такие решения принимает редактор.

Есть еще несколько случаев, когда после согласных пишется э. Это написание после приставок или составных частей сложных и сложносокращенных слов (предэкзаменационный, сэкономить; двухэтажный, Мосэнерго); написание во многих собственных именах иноязычного происхождения и производных от них словах (Бэкон, Дэвид, Сэлинджер; Мэриленд, Тайбэй, Улан-Удэ, Хуанхэ). Кроме того, э пишется в названиях букв (бэ, вэ, гэ и др.), в составе аббревиатур, пишущихся по названиям букв, и слов, образованных от буквенных аббревиатур, напр.: бэтээры, кавээнщик, гэпэушник, кагэбэшный, в звуковых аббревиатурах и образованных от них словах, напр.: ГЭС, ТЭЦ, ВТЭК, НЭП, втэковский, нэпман. 

Но в целом закономерность, о которой Вы говорите, существует. По нормам русской орфографии не в начале корня после букв, передающих твердый согласный, в словах иноязычного происхождения, как правило, пишется буква е (бизнес, бренд, коттедж, партер, стенд, инерция); буква э пишется только в немногих нарицательных существительных, таких как мэр, мэтр, пленэр, пэр, рэкет, рэп, сэр и некоторых других словах (преимущественно узкоспециальных), их круг определяется орфографическим словарем.

Разница прежде всего в том, что ПТУ – буквенная аббревиатура (т. е. читается по названиям букв: [пэтэу]), а вуз – звуковая (т. е. читается не по названиям букв – [вэузэ] – а как обычное слово). Впрочем, подавляющее большинство аббревиатур – и буквенных, и звуковых – пишутся прописными буквами. Строчными буквами пишутся только некоторые (немногие) звуковые аббревиатуры, давно существующие в языке и воспринимаемые уже не как аббревиатуры, а как обычные слова: вуз, втуз, дот (от долговременная огневая точка), дзот. Отдельные звуковые аббревиатуры могут писаться и прописными, и строчными буквами: ЗАГС и загс. Отдельные буквенные аббревиатуры могут писаться двояко – по буквам и по их названиям: БТР и бэтээр. В случае возникновения сомнений следует обращаться к орфографическому словарю.

Из истории: традиции написания аббревиатуры вуз строчными буквами – уже более полувека. В «Справочнике по орфографии и пунктуации для работников печати» К. И. Былинского и Н. Н. Никольского (М., 1952) читаем: «...Сложные сокращенные слова, обозначающие нарицательное имя и читаемые не по названиям букв, а как обычные слова, пишутся строчными буквами: вуз, вузы, нэп, при нэпе и др.». 

Глагол взлюбить в прошлом осмыслялся как вполне самостоятельный, он мог употребляться без отрицания не. Приведем пример из «Словаря русского языка XVIII века»: Вскорѣ сердечно взлюбил меня, и-мнѣ-Книги давать стал На утѣшение мнѣж, притом и начал-звать Чадом (Тилемахида или Странствование Тилемаха сына Одиссеева описанное в составе ироическия пиимы Василием Тредиаковским. СПб., 1766).

В первой половине ХХ века словари уже отмечают, что взлюбить употребляется только с отрицанием, и фиксируют орфографическую практику, отражающую переход к слитному написанию с не. Так, «Толковый словарь русского языка» под ред. Д. Н. Ушакова (1935–1940) и семнадцатитомный «Словарь современного русского литературного языка» (1950–1965, далее — БАС) включают и статью взлюбить (БАС, 2-й том, 1951 г.) с примерами раздельного написания с не, и статью невзлюбить (БАС, 7-й том, 1958 г.). Причем в БАС в статье невзлюбить раздельное написание охарактеризовано уже как устаревшее.

Словари второй половины ХХ – начала ХХI века статью взлюбить уже не дают (в том числе третье издание БАС), в них фиксируется только слитное написание — невзлюбить. При этом в современной литературе встречаются единичные употребления глагола взлюбить без не.

Поскольку это очень раннее стихотворение, с большой вероятностью следует предполагать произношение с е (то есть со звуком [э]). Но с полной уверенностью этого утверждать нельзя, и именно поэтому последовательное употребление буквы ё в изданиях русской литературы, особенно поэзии, 1-й половины XIX века является нежелательным или даже невозможным. Если в русской поэзии XVIII века произношение с ё (то есть со звуком [о] в позиции под ударением перед твердым согласным) отвергалось как «подлое», то поэты 1-й половины XIX века уже свободно допускают разговорное произношение типа идёт на месте прежнего идет. Пушкин свободно чередует два типа произношения в пределах одного текста, видимо, исключительно в версификационных целях (см., например, стихотворение «Анчар», где дважды в рифменной позиции употреблены слова с е и дважды — с ​​​​​​​ё: раскаленной, потек, но чёрный, лёг). Даже в стихотворении «Пророк», где, казалось бы, совсем не место произношению с ё, Пушкин употребляет слово полёт (И горний ангелов полёт) вместо высокого полет. Но об этих произносительных особенностях мы можем судить только по рифмам. В остальных случаях о произношении соответствующих слов можно говорить лишь предположительно.

Буквенные аббревиатуры читаются по названию букв, например: СССР [эс-эс-эс-эр], ЭВМ [э-вэ-эм], МГУ [эм-гэ-у], НТВ [эн-тэ-вэ].

Звуковые аббревиатуры состоят из начальных звуков слов исходного словосочетания, например: МИД [мид], вуз [вуз], ГУМ [гум]. Как правило, звуковые аббревиатуры образуются тогда, когда внутри аббревиатуры имеются гласные звуки (это позволяет прочесть аббревиатуру по слогам): вуз (1 слог), МХАТ (1 слог), МГИМО (2 слога).

Буквенно-звуковые аббревиатуры состоят как из названий начальных букв, так и из начальных звуков слов, входящих в исходное словосочетание: ЦСКА [цэ-эс-ка].

Интересные особенности есть у аббревиатур, имеющих в своем составе звук [ф]: ФРГ и ФСБ. Первоначально аббревиатура ФРГ произносилась как буквенная (то есть читалась по названию букв: [эф-эр-гэ]). Но так как буква Ф в разговорной речи произносится как [фэ], что объясняется экономией речевых средств, в частности артикуляционными законами (и нашей «языковой ленью», как полагает К. С. Горбачевич), то сегодня зафиксировано произношение ФРГ как [фэ-эр-гэ] – буквенно-звуковая аббревиатура, ср.: ФСБ [фэ-эс-бэ] и [эф-эс-бэ].

За аббревиатурой США по традиции закрепилось произношение [сэ-шэ-а], т. е. она является особой аббревиатурой: читается по буквам, но не так, как это принято в литературном языке, а так, как буквы С [эс] и Ш [ша] называют в разговорной речи.

Число букв менялось с течением времени и с изменениями в языке. Сейчас количество букв в общем и целом соответствует фонетическому составу современного языка, позволяя вполне экономно и удобно записывать звучащую речь.

С точки зрения произношения аббревиатуры делятся на три вида: буквенные, звуковые и буквенно-звуковые (смешанные).

Буквенные аббревиатуры читаются по названию букв, например: СССР [эс-эс-эс-эр], ЭВМ [э-вэ-эм], МГУ [эм-гэ-у], НТВ [эн-тэ-вэ].

Звуковые аббревиатуры состоят из начальных звуков слов исходного словосочетания, например: МИД [мид], вуз [вуз], ГУМ [гум]. Как правило, звуковые аббревиатуры образуются тогда, когда внутри аббревиатуры имеются гласные звуки (это позволяет прочесть аббревиатуру по слогам): вуз (1 слог), МХАТ (1 слог), МГИМО (2 слога).

Буквенно-звуковые аббревиатуры состоят как из названий начальных букв, так и из начальных звуков слов, входящих в исходное словосочетание: ЦСКА [цэ-эс-ка].

Интересные особенности есть у аббревиатур, имеющих в своем составе звук [ф]: ФРГ и ФСБ. Первоначально аббревиатура ФРГ произносилась как буквенная (то есть читалась по названию букв: [эф-эр-гэ]). Но так как буква Ф в разговорной речи произносится как [фэ], что объясняется экономией речевых средств, в частности артикуляционными законами (и нашей «языковой ленью», как полагает К. С. Горбачевич), то сегодня зафиксировано произношение ФРГ как [фэ-эр-гэ] – буквенно-звуковая аббревиатура, ср.: ФСБ [фэ-эс-бэ] и [эф-эс-бэ].

За аббревиатурой США по традиции закрепилось произношение [сэ-шэ-а], т. е. она является особой аббревиатурой: читается по буквам, но не так, как это принято в литературном языке, а так, как буквы С [эс] и Ш [ша] называют в разговорной речи.