Оба слова нужно писать с заглавной буквы, если топоним относится не к горе, а любому другому объекту (поселку, деревне, улице и проч.). Ср.: район Соколиная Гора, поселок Николина Гора. Если же названный объект — это именно гора, то слово гора должно записываться со строчной буквы как нарицательное существительное. В этом случае названием будет только слово Синяя. Другие примеры: Поклонная гора, Соборная гора. Однако заметим, что в топонимии России существуют такие названия, которые включают в себя географические термины, указывающие на тип объекта, например в Челябинской области есть гора Доменная Гора. Написание названий природных географических объектов и населенных пунктов России можно установить с помощью Государственного каталога географических названий. 

Это название горной системы, оно пишется с прописной буквы: Кавказские горы.

Правилен второй вариант. Аналогичные примеры можно найти в «Письмовнике».

Предлог - это отдельное слово.