Да, корректно писать с большой буквы.

Приведенного контекста недостаточно для того, чтобы определить, ставится ли запятая. Постановка запятой зависит от строя всего предложения.

При синонимичности этих конструкций они различаются стилистически: слова на территории будут уместны в тексте официально-делового стиля (на территории Самарской области проживают...). В живой речи лучше выбрать вариант с предлогом в (живу в Самарской области).

Кроме того, оборот на территории Самарской области может иметь значение «на той территории, где теперь располагается Самарская область», напр.: На территории Самарской области еще в каменном веке жили люди (вряд ли здесь возможно: в Самарской области).

Корректно (с точки зрения пунктуации): Этот человек обратился к области искусства как к области наиболее ему надлежащей.

Орфографически верно: прокуратура Челябинской области.

Нет. Это стилистически нейтральное слово, входящее в состав русского литературного языка.

Как правило, термин идиома применяют к сочетаниям слов, а не к отдельным словам. А что Вы понимаете под идиомой?