Лучше: принимать душ.
Вариант ходить за водой стилистически нейтральный, вариант по воду уместен в народно-поэтической речи.
Возможен такой вариант: Вопрос – ходить или не ходить – не стоит. Д. Э. Розенталь формулировал правило так: если несогласованное определение, выраженное инфинитивом, находится в середине предложения, то оно обособляется при помощи тире. Ср. с примером Д. Э. Розенталя: …Каждый из них решал этот вопрос — уехать или остаться — для себя, для своих близких (Кетл.).
Идти - однократное действие, ходить - многократное.
Верен второй вариант.
Оба выражения корректны, однако имеют разное значение. Сходить с ума по кому-чему — очень увлекаться кем-чем-н., быть в восторге, восхищении от кого-чего-н. Сходить с ума от кого-чего — сильно беспокоиться, тревожиться, волноваться, нервничать из-за кого-чего-н.