Согласно строгой литературной норме названия островов не склоняются: на острове Татышев, островом Татышев. Но в разговорной речи склонение возможно, в этом случае следует склонять название острова как фамилию на -ев: на острове Татышеве, островом Татышевом. См. полный академический справочник «Правила русской орфографии и пунктуации» («Эксмо», 2006) и справочник «Грамматическая правильность русской речи. Стилистический словарь вариантов» (авторы: Л. К. Граудина, В. А. Ицкович, Л. П. Катлинская), а также Письмовник.

Правильно: стрелка Васильевского острова.

Об одном острове корректно: остров Курильской гряды.

Географические названия: остров Путятина, остров Аскольд.

Топонимы в сочетании со словом остров обычно не склоняются. Поэтому верно: на острове Сахалин. Подробнее см. в "Письмовнике".

«Словарь географических названий» А. В. Суперанской (М., 2013) указывает, что географические названия в сочетании с термином мыс обычно не склоняются (кроме тех случаев, когда топоним выражен прилагательным): на мысе Челюскин, но на мысе Погодном.

Правильно: вглубь острова, вглубь Арктики. Ср.: в глубь океана (=в глубину).