Верно: люксембуржка.
Правильно: на воре и шапка горит (такая рекомендация – в "Большом толковом словаре русского языка" под ред. С. А. Кузнецова, а также в справочнике "Русская фразеология" А. К. Бириха, В. М. Мокиенко, Л. И. Степановой). Но: вор у вора шапку украл (в этом фразеологизме как исключение ударение в слове вор переходит на окончание).
Кавычки не нужны: порт Высоцк.
Верно: по бОрту.
Внутри этих сочетаний запятые не нужны. Для их постановки нет оснований: частица вот не обособляется.
Кавычки не нужны: форт Красная Горка. См.: Розенталь Д. Э. Справочник по русскому языку. Прописная или строчная? – 7-е изд., перераб. и доп. М., 2005.