Запятая поставлена правильно.
Вариант за водой, за грибами общеупотребительный и стилистически нейтральный, вариант по воду, по грибы уместен в разговорной, в народно-поэтической речи.
Правильно: идти куда-то, пошел куда-то. Но в переносном употреблении: где-то в отдалении идут часы.
Запятая не нужна.