Правильно: Островский район, хотя город Остров. Ср.: Белгород, но Белгородская область. Русский язык не любит, когда после ударного слога остается много безударных.

Верно: в городе Белгороде, в Республике Таджикистан.

Можно написать первое слово с прописной буквы, если имеется в виду образное наименование города. Кавычки при этом использовать не нужно.

В неофициальных устойчивых, в том числе образных, названиях государств и городов с прописной буквы пишется первое (или единственное) слово, а также (если они есть) собственные имена, напр.: Страна восходящего солнца (о Японии), Страна утренней свежести (о Корее), Поднебесная империя или Поднебесная (об императорском Китае), Страна кленового листа (о Канаде), Страна тюльпанов (о Голландии), Вечный город (о Риме), Белокаменная, Первопрестольная (о Москве), Северная Пальмира (о Петербурге).

В прилагательных с суффиксом -ск-, образованных от географических названий, ударение чаще ставится на том же слоге, что и в названии, от которого оно образовано: Харьков – харьковский, Тамбов – тамбовский, Углич – угличский, Воронеж – воронежский. Но иногда наблюдается перенос ударения ближе к концу слова: Белгород – белгородский, Ставрополь – ставропольский, Новгород – новгородский. Объяснение простое: ударение переносится для удобства произношения. Произносить белгородский в беглой речи неудобно: после ударного слога остаются три безударных.

Названия городов склоняются. Подробные рекомендации см. в «Письмовнике».

Правильно: выбыл из г. Белгорода.

См. в «Горячей десятке вопросов».