Вариант ходить за водой стилистически нейтральный, вариант по воду уместен в народно-поэтической речи.
Верно: попить чайку.
Возможен такой вариант: Вопрос – ходить или не ходить – не стоит. Д. Э. Розенталь формулировал правило так: если несогласованное определение, выраженное инфинитивом, находится в середине предложения, то оно обособляется при помощи тире. Ср. с примером Д. Э. Розенталя: …Каждый из них решал этот вопрос — уехать или остаться — для себя, для своих близких (Кетл.).
Верно: Можно я пойду попить воды?