Разница исключительно грамматическая: начать – совершенный вид, начинать – несовершенный. Эта разница видна на примерах: я начинаю (сейчас), я начну (скоро).

Орфографический словарь

Это употребительное сочетание.

Я не знаю, как остальные, // но я чувствую жесточайшую // не по прошлому ностальгию – // ностальгию по настоящему (А. Вознесенский).

Наклонение – непостоянный морфологический признак глагола. Ср.: я мог это сделать – изъявительное наклонение, прошедшее время; если бы я мог это сделать – условное наклонение.

Обороты с предлогом помимо (в значении «кроме»), выполняющие в предложении функцию дополнения, обычно выделяются знаками препинания: В конце концов мы порешили, помимо шампанского, абонировать для него кресло в театре, утроить жалованье, купить ему вороных, еженедельно отправлять его за город на тройках – все это в счет Общества. (А. Чехов, Единственное средство). Однако допускается и невыделение запятыми оборотов с предлогом помимо в значении «кроме»: Категория эта кажется нам ее собственным, а не нашим, состояньем. Помимо этого состоянья все на свете названо. (Б. Пастернак, Охранная грамота). Если же оборот с предлогом помимо выступает в функции обстоятельства образа действия, то запятые не ставятся: Презирая убогого маляра, я восхищался этим единственным портретом, словно родившимся помимо желания его творца. (Б. Окуджава, Путешествие дилетантов).

Обороты с предлогом кроме выделяются знаками препинания факультативно. Как правило, оборот с предлогом кроме выделяется, если предлог можно заменить словами «исключая, не считая чего-либо»: Ничья судьба, кроме своей собственной, вас более не интересует. (М. Булгаков, Мастер и Маргарита). Запятые могут не ставиться, если предлог кроме имеет значение «дополнительно, вдобавок к чему-либо»: Достопримечательностью главной комнаты кроме рояля было громадное полотно в тяжелой позолоченной раме, написанное неизвестным художником… (Б. Окуджава, Путешествие дилетантов). Однако практика письма показывает, что и при таком значении предлога постановка запятых возможна.

Таким образом, во всех случаях окончательное решение о постановке / непостановке запятых принимает автор текста.

Правильно: ностальгия по чему-либо. Например: Я не знаю, как остальные, // но я чувствую жесточайшую // не по прошлому ностальгию – // ностальгию по настоящему (А. Вознесенский).

Исправлено. Спасибо!

Вас напрасно поправляют. Вариант пойти за водой, за грибами и т. д. общеупотребительный и стилистически нейтральный, вариант пойти по воду, по грибы уместен в разговорной, в народно-поэтической речи.