Корректно: не замерзшая еще речка. 

С полными формами причастий отрицание не пишется раздельно:

а) если при них имеются зависимые слова, напр.: человек, не гнушающийся никакими средствами; не ведающий, что творит; не заботящийся о пропитании; друзья, не видевшиеся много лет; не подтверждаемая фактами версия; не признанный современниками гений; не опознанный наземными службами объект; не связанный обязательствами; не обязанный подчиняться; не растроганный её слезами; давно не стиранное платье; с весны не крашенная крыша;

б) в составе конструкций с противопоставлением или конструкций, усиливающих отрицание, напр.:

Это не законченная работа, а какие-то наброски; не знающий, а лишь догадывающийся; не воюющие, а мирно соседствующие страны; не уважаемый — любимый; отнюдь не успокоенный, нимало не смущённая, нисколько не обрадованный, никем не замеченный, никогда не унывающий, никем не любимый.