Правильно: ...по реке Неве. См. в «Письмовнике».
Постановка знаков препинания между двумя инфинитивами для выражения разделительных отношений не регламентирована справочниками. Интонационный рисунок фразы наиболее точно передается с помощью тире: Долго думала: купить — не купить; Долго думала: прийти — не прийти.
Да, сочетание корректно.
Как правило, выбор предлога зависит от того, с одушевленным существительным он употребляется или с неодушевленным: долг по отношению к кому-то, долг в отношении чего-то.
Запятая поставлена правильно.
Это корректное сочетание, оно зафиксировано словарями русского языка.
Разговорный глагол грозиться употребляется в значении "грозить" (подробнее см. в словарях). Однако он используется с неопределенной формой глагола, а не с существительным. Поэтому указанное Вами сочетание некорректно.
В неоплатном долгу кто у кого – о том, кто кому-н. чем-н. обязан, бесконечно благодарен.
Оба варианта возможны.
Если имеется в виду «на опушке, а точнее, рядом с елью», то запятая нужна: рядом с елью — уточнение.