Согласно строгой литературной норме названия островов не склоняются: на острове Татышев, островом Татышев. Но в разговорной речи склонение возможно, в этом случае следует склонять название острова как фамилию на -ев: на острове Татышеве, островом Татышевом. См. полный академический справочник «Правила русской орфографии и пунктуации» («Эксмо», 2006) и справочник «Грамматическая правильность русской речи. Стилистический словарь вариантов» (авторы: Л. К. Граудина, В. А. Ицкович, Л. П. Катлинская), а также Письмовник.
Топонимы в сочетании со словом остров обычно не склоняются. Поэтому верно: на острове Сахалин. Подробнее см. в "Письмовнике".
Правильно: вглубь острова, вглубь Арктики. Ср.: в глубь океана (=в глубину).
Правильно: остров Татышев.
Правильно: Остров свободы.
Правильно не склонять: с острова Русский. Однако в разговорной речи нередко употребляются согласуемые формы: приехали с острова Русского.
Справочные пособия рекомендуют согласовывать с родовыми наименованиями названия озер и островов, выраженные полными именами прилагательными. См. «Справочник по правописанию и литературной правке» Д. Э. Розенталя (раздел «Согласование определений и приложений», параграф «Приложения – географические названия») и «Словарь географических названий» А. В. Суперанской (М., 2012).
Первое. Если речь именно о названии населенного пункта, а не о названии острова, то корректно написание обеих частей названия с прописной буквы: Попов Остров.
И второе. Склонять следует обе части названия: порт Попова Острова.
Правильно: остров Татышев (от имени Татыш).