Мужская фамилия Горб склоняется, женская – нет.
В сочетании с географическим термином гора названия женского рода склоняются: на горе Зеленой. Названия мужского рода остаются в начальной форме: у горы Эльбрус.
Мужская фамилия Горб склоняется: г-ну Горбу.
См. «Учебник ГРАМОТЫ». Правило касается корней гор-гар со значением, связанным с горением.
Правильно: на гору, допустимо: на гору.