Да, корректно писать с большой буквы.
Приведенного контекста недостаточно для того, чтобы определить, ставится ли запятая. Постановка запятой зависит от строя всего предложения.
При синонимичности этих конструкций они различаются стилистически: слова на территории будут уместны в тексте официально-делового стиля (на территории Самарской области проживают...). В живой речи лучше выбрать вариант с предлогом в (живу в Самарской области).
Кроме того, оборот на территории Самарской области может иметь значение «на той территории, где теперь располагается Самарская область», напр.: На территории Самарской области еще в каменном веке жили люди (вряд ли здесь возможно: в Самарской области).
Корректно (с точки зрения пунктуации): Этот человек обратился к области искусства как к области наиболее ему надлежащей.
Орфографически верно: прокуратура Челябинской области.
Нет. Это стилистически нейтральное слово, входящее в состав русского литературного языка.
Как правило, термин идиома применяют к сочетаниям слов, а не к отдельным словам. А что Вы понимаете под идиомой?