Это слово женского рода.
Тире можно поставить.
Корректно: на берегу реки Упы.
Правильно: набережная реки Москвы, набережная Москвы-реки. Подробные рекомендации см. в «Письмовнике».
Корректно: в устье реки Колымы.
В сочетании с географическим термином река названия рек женского рода обычно склоняются: в долине реки Печоры.
См. ответ на вопрос № 279720.
Верно: Охта.