Такая конструкция вполне возможна. Она имеет книжный характер, ср. у А. С. Пушкина в трагедии «Борис Годунов»: «Я слышу речь не мальчика, но мужа». В академической «Русской грамматике» сказано: «Отрицательно-противительное значение взаимного исключения выражается союзом не... а (а не): [Чацкий:] Кто служит делу, а не лицам... (Гриб.); Я говорю не для вас, а для Вани (Некр.); Подарила мне колечко — не золотое, не серебряное, а простое. Резкость противопоставления смягчена в союзе но: не... но (но не): Он был оскорблен не самим признанием, но грубой небрежностью Авдея (Тург.); Эта работа потребует знаний, квалификации, но не физических усилий (журн.)» (Русская грамматика. М., 1980. Т. 2. § 2077).

Такое употребление вполне корректно. В приведенном Вами предложении форма прошедшего времени деепричастия подчеркивает, что обозначаемое им действие (полюбив) совершилось раньше, нежели действие, обозначенное глаголом в прошедшем времени (заботилась).

См. также рассуждения Д. Э. Розенталя по поводу относительности времени причастий (как и деепричастий): 

"Причастию, как глагольной форме, присущи значения времени, вида, залога.

1) Значение времени в причастии относительное: в одних случаях наблюдается соотносительность времен, выраженных причастием и глаголом-сказуемым, например: видел детей, играющих на  бульваре (видел в то время, когда они играли); в других случаях время, выраженное причастием, соотносится с моментом речи, предшествует ему, например: видел детей, игравших на бульваре. Ср.: а) В одной из комнат я нашел молодого парня, разбирающего за столом бумаги (В. Солоухин); б) В эту ночь, как нарочно, загорелись пустые сараи, принадлежавшие откупщикам (Герцен).

При прошедшем времени глагола-сказуемого причастие настоящего времени указывает на постоянный признак, причастие прошедшего времени – на временный признак. Например: Нас заинтересовал домик, стоящий на опушке леса (ср.: ...который стоит...). – Артем схватил тяжелый молот, стоявший у наковальни... (Н. Островский) (ср.: ...который стоял...).

Ср. также: На совещание прибыли все делегаты, за исключением двух, отсутствующих по болезни (совещание еще идет). – В работе совещания приняли участие все делегаты, за исключением двух, отсутствовавших по болезни (совещание уже закончилось).

Неточная форма времени причастия использована в предложении: «Работа была выполнена в течение пяти дней вместо предполагаемых шести» (предположение относится к прошлому, поэтому не подходит форма настоящего времени причастия предполагаемых; не подходит также форма предположенных, имеющая значение совершенного вида, тогда как по смыслу фразы нужно причастие несовершенного вида – от глагола предполагать, а не от предположить; правильная форма для данного случая –предполагавшихся). Наоборот, нужна форма настоящего, а не прошедшего времени причастия в предложении: «Существовавшее до сих пор положение ГОСТа уже не удовлетворяет возросшим требованиям» (если оно не удовлетворяет, то, значит, оно еще существует, поэтому следовало сказать: Существующее до сих пор положение...).

Различие между сочетаниями книга издана и книга была издана заключается не в большей или меньшей отдаленности во времени (ср.: книга была издана в прошлом году – книга издана в XVII веке, где связка была отнюдь не вносит значения большей давности), а в том, что при отсутствии связки имеется в виду наличие результата в настоящем, при наличии связки – отнесение результата к прошлому; ср.: «Мертвые души» написаны Гоголем. – Второй том «Мертвых душ» был написан Гоголем (но сожжен);«Евгений Онегин» написан Пушкиным. – Десятая глава «Евгения Онегина» была написана Пушкиным (но не издана).

Нужно искать соответствующее прилагательное, от которого образовано это наречие - скрупулезный. Производные наречия, как правило, не приводятся в словарях в качестве заголовочных единиц словарных статей.

Большой толковый словарь

Корректно: не замерзшая еще речка. 

С полными формами причастий отрицание не пишется раздельно:

а) если при них имеются зависимые слова, напр.: человек, не гнушающийся никакими средствами; не ведающий, что творит; не заботящийся о пропитании; друзья, не видевшиеся много лет; не подтверждаемая фактами версия; не признанный современниками гений; не опознанный наземными службами объект; не связанный обязательствами; не обязанный подчиняться; не растроганный её слезами; давно не стиранное платье; с весны не крашенная крыша;

б) в составе конструкций с противопоставлением или конструкций, усиливающих отрицание, напр.:

Это не законченная работа, а какие-то наброски; не знающий, а лишь догадывающийся; не воюющие, а мирно соседствующие страны; не уважаемый — любимый; отнюдь не успокоенный, нимало не смущённая, нисколько не обрадованный, никем не замеченный, никогда не унывающий, никем не любимый.

В сочетаниях типа абсолютно неисследованная территория определения пишутся слитно с не, так как слова очень, крайне, весьма, чрезвычайно, явно, довольно (довольно-таки ), достаточно, вопиюще, исключительно, в высшей степени – это слова со значением степени проявления признака, подчеркивающие утверждение, напр.: очень недобросовестная работа, спал очень неспокойно, стал крайне неактивен и нерасторопен, отвечал крайне невразумительно и неудовлетворительно, весьма незаурядный, весьма необдуманно, чрезвычайно неотзывчивый человек, чрезвычайно неприятно, явно нецелесообразная затея, довольно неудачный финал, достаточно непротиворечиво, вопиюще неграмотный, исключительно неблагоприятные обстоятельства, в высшей степени неприлично.