Верно: Не пойман - не вор.
Первое. Если речь именно о названии населенного пункта, а не о названии острова, то корректно написание обеих частей названия с прописной буквы: Попов Остров.
И второе. Склонять следует обе части названия: порт Попова Острова.
Можно поставить вопросительный знак, многоточие или восклицательный знак (в зависимости от интонации).
В данном случае слово "наконец" не является вводным и не обособляется: и вот наконец добился успеха.
Запятая не нужна: Вот что у нас получилось.
Запятая не нужна: Вот уж сюрприз так сюрприз.
Запятая не ставится, если повторяющиеся члены с частицами не или так между ними образуют единое смысловое целое со значением подчеркнутого утверждения, согласия или выражают значение неопределенности.
Знаки препинания стоят верно.
