Географические названия в сочетании со словом провинция обычно не склоняются: в провинции Малага, в провинции Квебек.

Вы затронули большую и сложную проблему – употребление прописной буквы в географических названиях. По общему правилу с прописной буквы должны начинаться все слова составного географического наименования, кроме слов года, лет и служебных внутри названия (как русских и, на, так и заимствованных в составе названия ан, дель, дер и др.). Слова, указывающие на тип географического объекта (их в правиле называют родовыми понятиями), в состав названия не входят.

Это правило легко применить к большинству географических названий, и их написание не вызывает трудностей, напр.: мыс Доброй Надежды, урочище Лосиная Гарь, ключ Булаг-Добо, гора Лысая Баба, сопка Лысый Дед, ручей Людмилы Левый, гора Май-Борода, река Малая Алмазинка, увал Молдованский Куст, село Новая Сила. В состав названий могут входить географические термины, утратившие свое терминологическое значение, т. е. не указывающие на тип географического объекта. Они пишутся с прописной, напр.: деревня Моленый Мыс, ручей Молчанов Ключ, урочище Моховище Бурного Озера, ручей Ободная Падь, река Общая Балка.

Однако некоторые сочетания названий и терминов не так просто соотнести с правилом. Например, есть особый класс возвышенностей – сопки. Одно из значений этого слова, зафиксированное толковыми словарями, – 'вулкан'. Но примерно с 70–80-х годов прошлого века географы стали включать слово сопка в название вулканов. На картах, и в каталогах географических названий стали писать: Ключевская Сопка, Авачинская Сопка (на картах середины ХХ века можно встретить написания Ключевская сопка, Авачинская сопка). Но слово Сопка входит и в названия множества гор, напр.: Березовая Сопка, Боркова Сопка, Бурнистая Сопка. Видимо, географы, уточняя номенклатуру географических терминов, стремились к их однозначности и определили сопку как особый тип возвышенностей. Все горы и вулканы, не соответствующие определению термина сопка, с этого времени строго по правилу стали Сопками. 

Рассмотрим еще один пример. В названии площади слово спуск нужно писать с прописной: Васильевский Спуск (см. Словарь улиц Москвы). В названии улицы, по которой спускаются вниз, например к реке, слово спуск сохраняет свое прямое значение 'наклонная поверхность; место, по которому спускаются вниз'. Однако (в отличие от сопки в названии гор и вулканов) в названии улиц слово спуск закрепилось в написании со строчной: Боровецкий спуск, Владимирский спуск, Ерофеевский спуск – улицы во Владимире. Также со строчной пишутся в названиях улиц слова аллея, кольцо, линия, просек. Вероятно, можно говорить о формировании у всех этих слов значения с компонентом 'улица'.

Есть трудность иного рода. Это необычные названия населенных пунктов типа поселок подсобного хозяйства санатория «Поречье». По правилу можно было бы написать: посёлок Подсобного Хозяйства Санатория «Поречье» (ср.: мыс Доброй Надежды). Некоторые поселки не имеют условных названий традиционного типа, таких как Листвянка, Большая Речка, Дальний, Усть-Камчатск, Лесной Городок, Куйтун, Черемхово. Функцию имени собственного берет на себя сочетание слов, указывающее на принадлежность поселка (в прошлом и/или настоящем) какой-либо организации. Правилами орфографии подобные названия никогда не описывались, видимо, потому, что правила создавались примерно в то же время, что и эти названия. В документах, на географических картах писали, руководствуясь самыми общими принципами употребления прописной буквы, но применяли их по-разному. И теперь мы вынуждены писать подобные названия не единообразно, а так, как они закреплены в Государственном каталоге географических названий. Вот несколько примеров: поселок База Куглая, поселок 16-й км, поселок лесхоза Юрлово, поселок лесхоза, поселок Москворецкого леспаркхоза, поселок леспаркхоза Клязьминский, поселок шлюза «Северка», поселок совхоза им. Ленина, поселок отделения совхоза «Дединово», поселок центральной усадьбы совхоза Уваровский-2, поселок медико-инструментального завода, поселок государственного племенного завода «Константиново», поселок фабрики Первое Мая. 

Надо сказать, что имена нарицательные могут постепенно приобретать статус топонима. Эта переходность отражена на дорожных указателях автомобильной дороги от Хабаровска до Иркутска: здесь встречается более 20 ручьев, обозначаемых как ручей, Ручей или РУЧЕЙ.

Рекомендуем не склонять это название, поскольку оно не вполне освоено русским языком: подъехать к Сари-Пуль. Если речь идет о выборе формы определения, следует ориентироваться на род родового слова.

Озеро Онтарио - среднего рода. О части провинции лучше написать: юг Онтарио, южная часть Онтарио.

Возможны варианты. 

Род несклоняемых существительных, обозначающих географические собственные имена (названия городов, рек, озер, островов, гор и т.д.), определяется по грамматическому роду нарицательного существительного, выступающего в роли родового понятия (т.е. по роду слов город, река, озеро и т.д.), например: солнечный Тбилиси (город), широкая Миссисипи (река), полноводное Эри (озеро), труднодоступная Юнгфрау (гора), живописный Капри (остров). Отступления от правила объясняются влиянием аналогии, употреблением слова в другом значении, тенденцией относить к среднему роду иноязычные несклоняемые слова на -о, например Северное Борнео.

Да, с административной точки зрения - область или регион (т. е. род родового слова под вопросом). В этой связи более вероятно употребление по форме среднего рода.

Если такие прилагательные начинают собой составные наименования, они пишутся через дефис, обе части – с прописной буквы. Например: Восточно-Китайское море. В противном случае такие прилагательные пишутся слитно, строчными, например: восточнокитайская природа. См. также ответ на вопрос № 278509.

Правильно: восточнокитайская провинция, т. к. прилагательное не начинает собой составного административно-территориального наименования.