См. «Учебник ГРАМОТЫ». Правило касается корней гор-гар со значением, связанным с горением.

Корректны оба варианта.

Это корень с непроверяемой гласной.

В сочетании с географическим термином гора названия женского рода склоняются: на горе Зеленой. Названия мужского рода остаются в начальной форме: у горы Эльбрус.

Оба слова нужно писать с заглавной буквы, если топоним относится не к горе, а любому другому объекту (поселку, деревне, улице и проч.). Ср.: район Соколиная Гора, поселок Николина Гора. Если же названный объект — это именно гора, то слово гора должно записываться со строчной буквы как нарицательное существительное. В этом случае названием будет только слово Синяя. Другие примеры: Поклонная гора, Соборная гора. Однако заметим, что в топонимии России существуют такие названия, которые включают в себя географические термины, указывающие на тип объекта, например в Челябинской области есть гора Доменная Гора. Написание названий природных географических объектов и населенных пунктов России можно установить с помощью Государственного каталога географических названий. 

Правильно: на гору, допустимо: на гору.