Фраза Все мы вышли из гоголевской «Шинели» означает, что расцвет русской классической литературы XIX века произошел во многом благодаря творчеству Н. В. Гоголя. Темы, поднятые Гоголем в повести «Шинель» («маленький человек», «Петербург»), стали на многие десятилетия ведущими темами русской литературы.

Такое употребление вполне корректно. В приведенном Вами предложении форма прошедшего времени деепричастия подчеркивает, что обозначаемое им действие (полюбив) совершилось раньше, нежели действие, обозначенное глаголом в прошедшем времени (заботилась).

См. также рассуждения Д. Э. Розенталя по поводу относительности времени причастий (как и деепричастий): 

"Причастию, как глагольной форме, присущи значения времени, вида, залога.

1) Значение времени в причастии относительное: в одних случаях наблюдается соотносительность времен, выраженных причастием и глаголом-сказуемым, например: видел детей, играющих на  бульваре (видел в то время, когда они играли); в других случаях время, выраженное причастием, соотносится с моментом речи, предшествует ему, например: видел детей, игравших на бульваре. Ср.: а) В одной из комнат я нашел молодого парня, разбирающего за столом бумаги (В. Солоухин); б) В эту ночь, как нарочно, загорелись пустые сараи, принадлежавшие откупщикам (Герцен).

При прошедшем времени глагола-сказуемого причастие настоящего времени указывает на постоянный признак, причастие прошедшего времени – на временный признак. Например: Нас заинтересовал домик, стоящий на опушке леса (ср.: ...который стоит...). – Артем схватил тяжелый молот, стоявший у наковальни... (Н. Островский) (ср.: ...который стоял...).

Ср. также: На совещание прибыли все делегаты, за исключением двух, отсутствующих по болезни (совещание еще идет). – В работе совещания приняли участие все делегаты, за исключением двух, отсутствовавших по болезни (совещание уже закончилось).

Неточная форма времени причастия использована в предложении: «Работа была выполнена в течение пяти дней вместо предполагаемых шести» (предположение относится к прошлому, поэтому не подходит форма настоящего времени причастия предполагаемых; не подходит также форма предположенных, имеющая значение совершенного вида, тогда как по смыслу фразы нужно причастие несовершенного вида – от глагола предполагать, а не от предположить; правильная форма для данного случая –предполагавшихся). Наоборот, нужна форма настоящего, а не прошедшего времени причастия в предложении: «Существовавшее до сих пор положение ГОСТа уже не удовлетворяет возросшим требованиям» (если оно не удовлетворяет, то, значит, оно еще существует, поэтому следовало сказать: Существующее до сих пор положение...).

Различие между сочетаниями книга издана и книга была издана заключается не в большей или меньшей отдаленности во времени (ср.: книга была издана в прошлом году – книга издана в XVII веке, где связка была отнюдь не вносит значения большей давности), а в том, что при отсутствии связки имеется в виду наличие результата в настоящем, при наличии связки – отнесение результата к прошлому; ср.: «Мертвые души» написаны Гоголем. – Второй том «Мертвых душ» был написан Гоголем (но сожжен);«Евгений Онегин» написан Пушкиным. – Десятая глава «Евгения Онегина» была написана Пушкиным (но не издана).

Найти такие слова, действительно, непросто. Это связано с тем, что имена существительные, оканчивающиеся на -е, – это либо обычные существительные среднего рода (море, солнце, сердце, честолюбие), либо слова мужского рода с экспрессивными суффиксами (носище, усище, голосище), либо несклоняемые слова иноязычного происхождения. В подавляющем большинстве такие слова тоже относятся к среднему роду (биде, драже, безе, саке, реле, божоле, кабаре, купе и т. п.), слов мужского и женского рода среди них единицы.

Мужской или женский род несклоняемые слова иноязычного происхождения приобретают только в тех случаях, когда к такому же роду относится русский синоним или слово, обозначающее родовое понятие, а также в тех случаях, когда они называют лиц или животных мужского (женского) пола. Так, к мужскому роду относятся слова атташе, конферансье (названия профессий – традиционно слова мужского рода), мсье, падре (названия лиц мужского пола). Медресе – существительное среднего рода. К женскому роду относятся слова протеже, кутюрье (если обозначают лиц женского пола), шимпанзе (если обозначает самку животного), цеце (влияние слова муха), биеннале (в значении 'выставка').

Заметим, что именно по указанным выше причинам такие трудности вызывает слово кофе. Это слово (несклоняемое нарицательное существительное иноязычного происхождения) самой системой языка втягивается в парадигму среднего рода, хотим мы того или нет. Мужской род (появившийся под влиянием прежних форм кофий, кофей) пока еще поддерживается традицией (и охраняется словарями), пока еще употребление слова кофе как существительного среднего рода допустимо лишь в непринужденной разговорной речи, но налицо все предпосылки для окончательного перехода  кофе  в разряд слов среднего рода (возможно, это случится через столетие, возможно, раньше).