Корректно: на берегу реки Упы.
Географические названия обычно не склоняются в случаях, когда род обобщающего нарицательного слова и топонима не совпадают. Верно: на реке Волге, но: на реке Енисей.
Правильно. С географическим термином река наблюдается тенденция склонять названия женского рода и не склонять названия мужского рода: у реки Волги, но на реке Енисей.
Корректно: мост через реку Зею.
В большинстве случаев названия рек согласуются с родовым наименованием, т. е. склоняются: по реке Оби, по реке Днепру. Однако малоизвестные названия рек обычно не согласуются. Представляется, что Пур можно отнести к малоизвестным названиям рек, следовательно: по реке Пур.
Да, склоняются: на р. Оке.