Не обособляются деепричастия, которые являются обстоятельствами образа действия, напр.: Поезд шёл не останавливаясь («безостановочно»); Она говорила об этом улыбаясь («говорила с улыбкой»). В Вашем предложении-заголовке деепричастие не обозначает образ действия, оно указывает пусть и на парадоксальное по смыслу, но все же действие: хотя я ухожу, но при этом остаюсь. Так что запятую нужно поставить. 

Пунктуационное оформление и стилистика этого фрагмента вполне корректны.

Вероятно, для разговорной речи можно признать допустимым вариант без родового слова, но с названием в несклоняемой форме. В строгой литературной речи родовое слово необходимо.  

Словарной фиксации слова нет. Предпочтительно склонять как существительное во мн. ч.

См. раздел Одушевленные и неодушевленные имена существительные в учебнике Е. И. Литневской.

В указанном месте нет оснований для постановки сразу двух знаков. Очевидно, автор, К. Г. Паустовский, использовал запятую и тире как единый знак, в целом довольно распространенный в художественных текстах XIX — первой половины ХХ века. В полном академическом справочнике «Правила русской орфографии и пунктуации» под ред. В. В. Лопатина (М., 2006 и след.), в примечании 1 к параграфу 130, указано, что «знак этот в настоящее время утрачивает свою активность».

Вы правы, в бумажном варианте словаря так же. Увы, ни одно издание не обходится без опечаток. В словаре-справочнике Е. А. Левашова "Географические имена. Трудные случаи употребления" также указано: Шлезвиг-Гольштейн, Шлезвиг-Гольштейна. Этой рекомендации и следует придерживаться.

При использовании интервала в этом случае нужно употреблять форму множественного числа: Он закончил написание своего романа около 1910–1911 годов и ...закончил в 1910–1911 годах. В этом контексте можно использовать разделительный союз, тогда существительное стоит в единственном числе: Он закончил написание своего романа около 1910 или 1911 года.