Согласно строгой литературной норме названия островов не склоняются: на острове Татышев, островом Татышев. Но в разговорной речи склонение возможно, в этом случае следует склонять название острова как фамилию на -ев: на острове Татышеве, островом Татышевом. См. полный академический справочник «Правила русской орфографии и пунктуации» («Эксмо», 2006) и справочник «Грамматическая правильность русской речи. Стилистический словарь вариантов» (авторы: Л. К. Граудина, В. А. Ицкович, Л. П. Катлинская), а также Письмовник.
Верно: памятник князю.
Правильно: князь киевский, князь владимирский.
На образование этих форм влияет нормативная форма мн. ч. им. п. князья.
Запятая после князем нужна.