Правильно: Островский район, хотя город Остров. Ср.: Белгород, но Белгородская область. Русский язык не любит, когда после ударного слога остается много безударных.
В названиях литературных произведений, состоящих из двух наименований, перед союзом или ставится запятая (причем второе название тоже пишется с прописной буквы): «Похождения Чичикова, или Мёртвые души» (Н. В. Гоголь); «Воевода, или Сон на Волге» (А. Н. Островский);