Мужская фамилия Горб склоняется, женская – нет.
В сочетании с географическим термином гора названия женского рода склоняются: на горе Зеленой. Названия мужского рода остаются в начальной форме: у горы Эльбрус.
Правильно: на гору, допустимо: на гору.