Мужская фамилия Горб склоняется, женская – нет.
Правильно: Масличная гора.
Принятое написание: грн. (с точкой).
Форма "у подножья" не будет ошибочной (хотя она и не основная). Ср.: Он пребывал как бы рядом, но наверху, на своей вершине, а они орали у подножья горы (Д. Гранин, Зубр).
Верно: на гОру.