Да, такие слова, грамматически не связанные с членами предложения, нужно выделять запятыми.
Предпочтительно: погрузИтся.
Вариант ходить за водой стилистически нейтральный, вариант по воду уместен в народно-поэтической речи.
В предложении Сила тяжести заставляет воду оставаться на месте подлежащее сила тяжести (поскольку это термин, его нельзя воспринимать как словосочетание, это единая номинация), сказуемое — заставляет. Инфинитив оставаться в сказуемое не входит, так как он обозначает действие не субъекта (обозначенного подлежащим), а объекта (воду). Объектный инфинитив никогда не входит в сказуемое и является дополнением.
Слова на вилле во Флоренции выступают как уточняющий член предложения, поэтому выделяются запятыми.
В вашей формулировке предложение получается сложносочиненным с двумя грамматическими основами: лебедь не успел улететь и мертвый упал. Корректно: Лебедь не успел улететь и, мертвый, упал в воду; Лебедь не успел улететь и мертвым упал в воду.
Оба сочетания корректны.
Запятая нужна перед чем. Однако предложение составлено не вполне корректно, его следует перестроить, например: Я начал пить больше воды, чем обычно или Я начал пить воду чаще, чем обычно.
Верно: Можно я пойду попить воды?
Первый вариант стилистически нейтральный, второй уместен в народно-поэтической речи.