Верно без запятой: Эта книга (последнее им написанное) произвела на всех сильное впечатление. Определение последнее относится к сочетанию второго определения им написанное с подразумеваемым существительным произведение. Сравним примеры из пункта 7 параграфа 10.1 справочника по пунктуации Д. Э. Розенталя: чёрные появившиеся на скатерти пятна; заячий наполовину потёртый воротник; большой собранный автором материал. Так же и последнее им написанное произведение.

Раньше в этом имени или не склоняли ни одну из частей, или склоняли вторую. Сейчас полностью несклоняемый вариант почти не встречается, довольно часто склоняют обе части, что отражает освоение имени русским языком. Так принято, например, в «Большой российской энциклопедии». Предлагаем ориентироваться на это издание. 

Точка после кавычек в данном случае не ставится (пример исправлен). Точка после кавычек не ставится, если перед закрывающими кавычками стоит многоточие, вопросительный или восклицательный знак, а заключенная в кавычки цитата (или прямая речь) является самостоятельным предложением. Правильно: Старый священник подошел ко мне с вопросом: «Прикажете начинать?»

Существительное занятие, обозначающее форму спортивной или какой-либо активной практической деятельности, сохраняет то же управление, что и глагол заниматься: заниматься йогой, аэробикой и пилатесом, занятия йогой, аэробикой и пилатесом. Предлог по обычно используют в сочетаниях с наименованиями учебных предметов, подразумевающих и их теоретическое освоение; ср. занятие по физике, по русскому языку. 

Информация о том, что «в 2001 году в правила русского правописания были внесены изменения», не соответствует действительности. В 2000–2001 гг. Орфографической комиссией РАН, действительно, велась работа над внесением изменений и дополнений в правила русского правописания. К сожалению, работа эта не была доведена до конца – главным образом из-за негативной реакции общества на некоторые предлагавшиеся изменения, которая во многом была спровоцирована недобросовестным освещением этой темы в СМИ (журналисты, как водится, заговорили о «реформе языка», не понимая, что язык и правописание – далеко не одно и то же). Аргументы лингвистов тогда остались неуслышанными, многолетняя работа приостановлена, и в результате сейчас официально действующим сводом правил правописания по-прежнему являются «Правила русской орфографии и пунктуации», принятые в 1956 году и существенно отстающие от современной практики письма.

См. также ответ на вопрос № 247113.

Однозначно можно сказать, что кавычки не нужны. С другими аспектами написания определиться сложнее. Бытуют два варианта: с дефисом (он встречается в БРЭ; по-видимому, более редкий) и без дефиса (в словаре В. В. Лопатина, И. В. Нечаевой, Л. К. Чельцовой «Прописная или строчная?»). В энциклопедических изданиях название ставят после родового слова и не склоняют. При употреблении названия без родового слова не склоняют часто; однако, на наш взгляд, грамматическое освоение названия вполне возможно, так как финальные гласные могут быть осмыслены как окончания.

В «Русском орфогарфическом словаре» РАН прилагательные серпуховский и серпуховской (именно от названия города Серпухов) зафиксированы как равноправные. Что касается названия улицы, то словарь «Имена московских улиц» приводит оба варианта: Серпуховский Вал и Серпуховской Вал, указывая, что второй вариант правильнее.

Извините за задержку с ответом.

1. Правильно: в Гамбурге, ставшем (ставшим – форма творительного падежа: Гамбургом, ставшим).

2. Правильно: полюсы.