В этом случае запятая не нужна.

Если константа С ранее не упоминалась в тексте, то необходимо сделать акцент вначале на существовании константы С, а затем на ее характеристиках, а значит, запятая нужна: ...для функции f существует константа C, [причем] такая, что выполняется соотношение... Если константа С ранее в тексте упоминалась, только ее характеристики были другими, то запятая не нужна: ...для функции f существует константа C такая, что выполняется соотношение...

Действительно, существует особая группа территорий, представление о которых включает исторический, политический, этнический, культурный, эстетический и пр. компонент, в отличие от собственно географических (природных) территорий, названия которых не содержат никаких дополнительных коннотаций. Например, Балтия — это не территория вокруг Балтийского моря, а Латвия, Литва и Эстония, связанные с Россией общей историей; под Восточной Европой понимают не просто часть европейского континента, а часть, населенную преимущественно славянскими народами. Север — полярные и приполярные территории, Арктика. Но сочетание Юг России в написании с заглавной буквы закрепилось в русском культурном фонде как название территории, подконтрольной белогвардейцам в 1918–1920 гг., ср.: Вооруженные силы Юга России — объединенные вооруженные силы Белого движения, образованные 8 января 1919 г. в результате соглашения между командующим Добровольческой армией А. И. Деникиным и атаманом Донского казачьего войска П. Н. Красновым. Только в таком значении и следует писать с заглавной буквы Юг России.