Правильно: южный полюс Луны. Дело в том, что на Земле полюса обрели названия — Южный и Северный. Названия пишутся с заглавной буквы, такое написание устойчиво и закреплено в правилах и словарях. В астрономии земные названия стали употребляться по отношению к другим крупным космическим телам — планетам и спутникам. При обозначении множества однородных объектов названия терминологизировались, что отразилось на их написании. Приведем несколько примеров:

У верхнего края снимка в середине виден кратер Пири диаметром 73 км, внутри которого расположен северный полюс Луны (Путешествие к Луне. Ред.-сост. В. Г. Сурдин. М., 2011).

Приборы аппарата обнаружили неподалеку от южного полюса Марса залежи замороженного CO₂ объемом около 12 тысяч кубических километров (Знание — сила. 2011 // Национальный корпус русского языка).

Спустя 9 минут разгонный блок «Фрегат» со станцией «Луна-25» отделился от третьей ступени ракеты и вышел на околоземную орбиту. Через несколько дней должна произойти мягкая посадка в районе южного полюса Луны (Телеграм-канал Московского планетария. Сообщение от 11.08.2023).

При сохранении общего смысла "на острова" предпочтительно использование предлога НА: на Южную Георгию и Южные Сандвичевы Острова.

«Объяснительный русский орфографический словарь-справочник» (Ин-т русского языка им. В. В. Виноградова РАН; Е. В. Бешенкова и др. М., 2015) сообщает о сочетании (в)глубь следующее:

вглубь 1) пишется слитно как наречие от существительного (глубь), принадлежащего к закрытому ряду слов с простран­ственным или временным значением (распростра­ниться вглубь и вширь, проблему не решили, а загнали вглубь); 2) закрепившееся слитное написа­ние предлога (зверь забился вглубь норы).

◊ Не путать с сочетанием предлога и существительного, управляющего другим существительным, напр.: в глубь океана; в глубь веков; в глубь души; вникать в глубь, в суть проблемы; в глубь времён; вышел из распахнутых в глубь дома дверей. Поскольку в современном языке дан­ный предлог находится еще в стадии формирования, то разница между сочетанием с предлогом вглубь дома и сочетанием существительных в глубь океана трудно уловима, поэтому в данных сочетаниях вполне возможно вариативное написание. (Статья приведена с некоторыми сокращениями.)

Существительное океан в значении 'водное пространство Земли' нарицательное, оно пишется со строчной буквы.

Географические названия в кавычки не заключаются: город-спутник Южный.

Да, с большой: Южный берег Крыма.