Это разные конструкции и разные значения предлога. Предлог по употребляется с предложным падежом при указании действия, события, после которого что-либо совершается: по завершении, по прибытии, по отъезде, по прилете. При обозначении пространства, места, на поверхности которого происходит какое-либо движение, предлог по употребляется с дательным падежом: по улице, по реке, по горе, по мосту, по проспекту.

Не ставится запятая в цельных фразеологизированных сочетаниях с повторяющимися союзами и... и, ни... ни (они соединяют слова с противопоставляемыми значениями): и день и ночь, и стар и млад, и смех и горе, и там и сям, и то и се, и туда и сюда, ни два ни полтора, ни дать ни взять, ни сват ни брат, ни взад ни вперед, ни дна ни покрышки и т. д.

Сочетание и сложны, и просты, на наш взгляд, к фразеологизированным не относится.

Есть правило: внутри выражений фразеологического характера с двумя повторяющимися союзами и…и, ни…ни запятая не ставится: и день и ночь; и смех и горе; и стар и млад; и так и этак; и там и сям; и туда и сюда; ни бе ни ме; ни больше ни меньше; ни брат ни сват; ни взад ни вперёд; ни да ни нет; ни дать ни взять; ни два ни полтора; ни дна ни покрышки; ни днём ни ночью; ни жив ни мёртв; ни рыба ни мясо; ни за что ни про что; ни убавить ни прибавить; ни стать ни сесть и т. д.

Оба слова нужно писать с заглавной буквы, если топоним относится не к горе, а любому другому объекту (поселку, деревне, улице и проч.). Ср.: район Соколиная Гора, поселок Николина Гора. Если же названный объект — это именно гора, то слово гора должно записываться со строчной буквы как нарицательное существительное. В этом случае названием будет только слово Синяя. Другие примеры: Поклонная гора, Соборная гора. Однако заметим, что в топонимии России существуют такие названия, которые включают в себя географические термины, указывающие на тип объекта, например в Челябинской области есть гора Доменная Гора. Написание названий природных географических объектов и населенных пунктов России можно установить с помощью Государственного каталога географических названий. 

Запятая не ставится. Правило звучит следующим образом.

Не ставится запятая в цельных фразеологизированных сочетаниях с повторяющимися союзами и... и, ни... ни (они соединяют слова с противопоставляемыми значениями): и день и ночь, и стар и млад, и смех и горе, и там и сям, и то и се, и туда и сюда, ни два ни полтора, ни дать ни взять, ни сват ни брат, ни взад ни вперед, ни дна ни покрышки, ни то ни се, ни стать ни сесть, ни жив ни мертв, ни да ни нет, ни слуху ни духу, ни себе ни людям, ни рыба ни мясо, ни так ни сяк, ни пава ни ворона, ни шатко ни валко, ни тот ни этот и др. То же при парных сочетаниях слов, когда третьего не дано: и муж и жена, и земля и небо.

Фраза "заламывать руки" является устойчивым выражением. Оно зафиксировано словарями в значении "сильно сгибая, отводить руки за спину", "заводить руки за спину с применением силы и достижением болезненного ощущения" (Полицейские заломили ему руки). Удивительно, но фиксации этого выражения в значении "аффектированно жестикулировать, демонстрируя горе, отчаяние" мы не нашли. Однако в художественных текстах оно встречается регулярно: Я картинно заломила руки; Боже мой! – с отчаянием восклицал молодой человек, заламывая руки и т. п. В этом же значении нередко встречается фразеологизм "заламывать пальцы": «Неужели я трус и тряпка?! — внутренне кричал Лихонин и заламывал пальцы [Куприн А. И., Яма, 1915]; Роженица уж перестала сдерживаться; она стонала на всю палату, всхлипывая, дрожа и заламывая пальцы [Вересаев В. В., Записки врача, 1900]. 

Приведенное Вами высказывание вообще не является восклицанием. 

Риторическое восклицание ― это риторический прием, часто используемый в лирике и драме. Суть его заключается в использовании восклицательного предложения для передачи интенсивных, ярких чувств, переживаний, ощущений или впечатлений говорящего (восторг, восхищение, гнев, ярость, разочарование и др.):

Как верим верою живою,

Как сердцу радостно, светло!

Как бы эфирною струею

По жилам небо протекло!

(Ф. Тютчев)

Риторическое восклицание может служить для описания интенсивности переживаний и высокой степени концентрации внимания говорящего на объекте, привлекшем его внимание, или цели, полностью захватывающей его сознание.

«Всё равно победим!
Никогда, никогда
Коммунары не будут рабами!»

(Е. Евтушенко)

Как правило, риторическое восклицание сопровождается гиперболизацией, укрупнением масштабов происходящего.

Гора горевала о нашем горе —
Завтра! Не сразу! Когда над лбом —
Уж не memento, а просто — море!
Завтра, когда поймем.

(М. Цветаева)

Да, по мнению некоторых лингвистов (например, Н. М. Шанского), слова берег и беречь этимологически связаны друг с другом. 

Слово берег восходит к индоевропейской основе *bherg'hos и имеет соответствия в других индоевропейских языках: ср. нем. Berg 'гора', норв. berg 'гора; горная цепь', исл. bjarg 'скала, утес', арм. berj 'высота', т. е. первоначальное значение этого индоевропейского корня – 'высота, возвышение', затем – 'гора, гористый берег' и – уже в общеславянском языке – 'берег' вообще (ср. в русских говорах гора – 'возвышенный берег', дорога горой – 'по высокому берегу реки').

Слово беречь восходит к общеслав. *bergti, исходное значение которого – 'прятать, укрывать, защищать'.  Этот глагол тоже имеет соответствия в других индоевропейских языках, ср. нем. bergen 'прятать, закрывать'. Ученые предполагают, что он восходит к той самой индоевропейской основе *bherg'hos. Развитие значения, возможно, шло следующим образом: 'гора' > 'убежище' (гора, углубление в горе служили средством защиты, местом, где можно спрятаться).

Эта замечательная книга впервые была опубликована в 1972 году. Тогда – в 1960-х и начале 1970-х – употребление слова переживать без дополнения в значении 'волноваться' (я переживаю) было новым, непривычным и вызывало некоторое отторжение у носителей языка (особенно старшего поколения). Об этом новом употреблении писал и Корней Чуковский в книге «Живой как жизнь» (1962):

«...Молодежью стал по-новому ощущаться глагол переживать. Мы говорили: «я переживаю горе» или «я переживаю радость», а теперь говорят: «я так переживаю» (без дополнения), и это слово означает теперь: «я волнуюсь», а еще чаще: «я страдаю», «я мучаюсь». Такой формы не знали ни Толстой, ни Тургенев, ни Чехов. Для них переживать всегда было переходным глаголом».

Словом, переживать 'волноваться' прошло тот самый путь, который проходит почти каждое языковое новшество: от неприятия и отторжения (в первую очередь старшим поколением носителей языка) до постепенного признания его нормативным. Сейчас глагол переживать в этом значении входит в состав русского литературного языка, никакой «пошлости» в нем нет. Правда, в некоторых словарях это значение пока еще дается с пометой разг. «разговорное».