Действительно, существует особая группа территорий, представление о которых включает исторический, политический, этнический, культурный, эстетический и пр. компонент, в отличие от собственно географических (природных) территорий, названия которых не содержат никаких дополнительных коннотаций. Например, Балтия — это не территория вокруг Балтийского моря, а Латвия, Литва и Эстония, связанные с Россией общей историей; под Восточной Европой понимают не просто часть европейского континента, а часть, населенную преимущественно славянскими народами. Север — полярные и приполярные территории, Арктика. Но сочетание Юг России в написании с заглавной буквы закрепилось в русском культурном фонде как название территории, подконтрольной белогвардейцам в 1918–1920 гг., ср.: Вооруженные силы Юга России — объединенные вооруженные силы Белого движения, образованные 8 января 1919 г. в результате соглашения между командующим Добровольческой армией А. И. Деникиным и атаманом Донского казачьего войска П. Н. Красновым. Только в таком значении и следует писать с заглавной буквы Юг России.

Правильно раздельное написание: незаконно построенных сооружений.

Вы имели в виду определяемое слово? Тогда может, например: Он родился в семье военных и проделал весь путь, на роду написанный людям, делающим военную карьеру [С. Татевосов. Князь тьмы в малиновом берете // «Коммерсантъ-Власть», 1999], Казаки же долго не могли отрешиться от этого жестокого приёма, отталкивавшего от нас многих, желавших перейти на нашу сторону [А. И. Деникин. Очерки русской смуты. Том IV. Вооруженные силы Юга России (1922)].

Судя по всему, здесь дело не в наречии условно, а в глаголе состоит. Если так, то можно заменить его — например, глаголом делиться: Сооружение, толщина внешних стен которого колеблется от 3,5 до 5 метров, условно делится на четыре части.

Правильно: погружение в недра знаний.