Географические названия обычно не склоняются в случаях, когда род обобщающего нарицательного слова и топонима не совпадают. Верно: на реке Волге, но: на реке Енисей.
Корректно: на берегу реки Упы.
Правильно: река Ганг. Но: река Ганга, если речь идет о небесной реке, вытекшей из пальца Вишну (в древнеиндийской мифологии).
Правильно. С географическим термином река наблюдается тенденция склонять названия женского рода и не склонять названия мужского рода: у реки Волги, но на реке Енисей.
Все названия нужно оставить в начальной форме.
Мы предполагаем, что Вы имели в виду случай вроде река Енисей, когда название реки мужского рода. Выбор местоимения зависит от того, с родовым словом употребляется название реки или без него. С родовым словом верно: Мы вышли на реку Енисей. На ее берегах... Без родового слова верно: Мы вышли на Енисей. На его берегах...