Здесь возможны варианты. В «Справочнике по правописанию, произношению, литературному редактированию» (Розенталь Д.  Э., Джанджакова Е. В., Кабанова Н. П.) указано: «Названия озер, заливов, проливов, каналов, бухт, островов, полуостровов, гор, горных хребтов, пустынь и т. п., как правило, не согласуются с родовыми наименованиями». Но с названиями-прилагательными ситуация немного иная. Справочник говорит: «Названия, имеющие форму полного прилагательного, обычно согласуются: у горы Магнитной, на озере Ладожском. Однако в этом случае наблюдаются колебания».

Таким образом, допустимо: на полуострове Среднем и на полуострове Средний. Географические названия в функции приложения чаще склоняются в художественной речи и остаются несклоняемыми в речи официальной, канцелярской. Окончательное решение — за автором текста.

Согласно словарю Ф. Л. Агеенко, верно: Ухань, Ухани, Ухани, Ухань, Уханью, в Ухани.

Однако не все лингвисты разделяют такой подход. Так, в справочнике Л. Р. Концевича "Китайские имена собственные и термины в русском тексте. Пособие по транскрипции" предлагается склонять китайские географические названия, оканчивающиеся на -нь, в зависимости от родового слова. Так, названия городов, горных хребтов, проливов и проч. автор предлагает склонять как существительные мужского рода, например зверь: в [городах] Таньцзине, Сиане, Аньшане. А названия провинций, пустынь, равнин, деревень —  как существительные женского рода: в Хуйнани (провинция). Согласно этой логике верно: Ухань, Уханя, Уханю, Ухань, Уханем, в Ухане.

Написание без кавычек правильно: монастырь Коренная пустынь.