Оба слова нужно писать с заглавной буквы, если топоним относится не к горе, а любому другому объекту (поселку, деревне, улице и проч.). Ср.: район Соколиная Гора, поселок Николина Гора. Если же названный объект — это именно гора, то слово гора должно записываться со строчной буквы как нарицательное существительное. В этом случае названием будет только слово Синяя. Другие примеры: Поклонная гора, Соборная гора. Однако заметим, что в топонимии России существуют такие названия, которые включают в себя географические термины, указывающие на тип объекта, например в Челябинской области есть гора Доменная Гора. Написание названий природных географических объектов и населенных пунктов России можно установить с помощью Государственного каталога географических названий.
Это не ошибка.
Для определенного ответа нужно увидеть предложение целиком.
Первое. Если речь именно о названии населенного пункта, а не о названии острова, то корректно написание обеих частей названия с прописной буквы: Попов Остров.
И второе. Склонять следует обе части названия: порт Попова Острова.
В данном случае нужна частица НЕ.
