Корректно написание с заглавной буквы, так как это закрепившееся название территориальной единицы. См. словарную фиксацию. Подробнее о подобных названиях можно прочитать в правилах употребления прописных и строчных букв в географических и административно-территориальных названиях.
Общая рекомендация — оформлять такие сочетания как описательные обороты, то есть писать без заглавных букв. При этом заметим, что нельзя исключить возможность их написания с прописной как устойчиво употребляемых усеченных названий.