Да, вы совершенно правы. 

Все просто: на взморье, на пограничье. В предложном падеже на -И оканчиваются только те существительные мужского и среднего рода с неодносложной основой, которые в им. п. оканчиваются на -ИЕ, ИЙ: о сидении, о гении (но: на сиденье). Исключение: в забытьи (с ударным И). 

Попробуйте выполнить Ваше домашнее задание самостоятельно.

Приезжать (приезжал) - глагол несовершенного вида. В русском языке глаголы несовершенного вида, обозначающие способ передвижения, могут одновременно указывать на однократный или неоднократный характер действия. 

Что касается локатива, то, несмотря на формальное наличие у некоторых существительных локативного окончания -у (в лесу, в аэропорту), следует признать его (локатив) всего лишь "подзначением" предложного падежа.

В этом предложении сочетание то на улице выглядит случайно попавшим сюда фрагментом какого-то другого предложения. Оно нелогично по смыслу (не указано, где еще можно гулять, кроме как на улице) и не грамматично (придаточные части с союзом когда зависят от первой части с грамматической основой я гуляю, поэтому часть с то «повисает в воздухе»). Если рассматривать предложение без этой части, то корректно такое оформление: Я гуляю и когда идёт снег, и когда идёт дождь. Если перед подчинительным союзом стоит сочинительный союз и, то запятая между главной и следующей за ней придаточной частью сложноподчиненного предложения не ставится. См. пункт 2 параграфа 33.4 справочника по пунктуации Д. Э. Розенталя.

Вы совершенно точно выделили и охарактеризовали одну из проблемных областей в действующих правилах пунктуации. Действительно, правило вроде бы обязывает не ставить тире, если между подлежащим и сказуемым-существительным стоит любое наречие или, в соответствии с некоторыми справочниками, обстоятельство. Такую строгую, не допускающую отступлений формулировку можно встретить во многих учебных пособиях по пунктуации, а также в полном академическом справочнике «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина (М., 2006).

Однако Д. Э. Розенталь, видимо, понимал, что это правило не должно быть жестким, правилом-предписанием, что возможны отступления от него. Т. е. это правило фиксирует лишь тенденцию. Поэтому в наиболее полном своде Дитмар Эльяшевич пишет о предложениях с наречиями как о тех случаях, когда тире обычно не ставится. И Ваши наблюдения это подтверждают.

Классический пример в правиле о непостановке тире перед наречиями – предложения с временнЫм наречием: Сергеев теперь известный художник; Москва теперь порт пяти морей; Кино по-прежнему самый массовый вид искусства. Такие наречия являются не определениями к сказуемому-существительному, а обстоятельствами, которые примыкают к опущенной связке (*Сергеев есть (когда?) теперь известный художник). Вы же выделяете другой тип наречий – со значением меры и степени, которые синтаксически связаны с определением при существительном (Прибыль – более гибкий показатель. Гибкий (в какой мере?) более.) Подобных примеров в справочниках нет. 

А. Б. Шапиро считал, что несогласованный второстепенный член, относящийся к сказуемому-подлежащему своим местоположением указывает на границу между составом подлежащего и составом сказуемого. Именно поэтому перед такой распространенной группой сказуемого тире не нужно. Это рассуждение логично. Оно представляет собой попытку определить функцию тире в подобных предложениях. Но кажется, что этот принцип не работает. Тире в приведенных Вами предложениях с наречиями меры и степени более частотно, чем его отсутствие. По-видимому, необходимо более глубоко исследовать эту область письма и уточнить правила.

До этого считать ошибкой постановку тире перед наречием меры и степени вряд ли правильно и следует принимать оба написания.

Верно: Я не даю своего добровольного согласия на участие... Для написания частицы ни нет оснований. Обратите внимание, что если дополнение при глаголе с отрицанием выражено отвлеченным существительным, то оно ставится в форме родительного падежа.

Не обособляются деепричастия, которые являются обстоятельствами образа действия, напр.: Поезд шёл не останавливаясь («безостановочно»); Она говорила об этом улыбаясь («говорила с улыбкой»). В Вашем предложении-заголовке деепричастие не обозначает образ действия, оно указывает пусть и на парадоксальное по смыслу, но все же действие: хотя я ухожу, но при этом остаюсь. Так что запятую нужно поставить. 

Применительно к людям это не самое удачное именование.