Да, правильно: над Жуковским.
Склоняется.
Лучше: в городе Жуковском.
Слово Кром, обозначающее Псковский кремль, пишется с большой буквы. См.: Лопатин В. В., Нечаева И. В., Чельцова Л. К. Прописная или строчная? Орфографический словарь. М., 2011.
Словарь И. Л. Городецкой, Е. А. Левашова «Русские названия жителей» (М., 2003) фиксирует оба варианта: жуковцы (ед. число жуковец) и жуковчане (ед. ч. жуковчанин). Оба слова имеют право на существование, но при этом вариант жуковцы, жуковец более употребим в русском языке.
Можно и так и так. Ну не знаем мы, как произносил эту строку Жуковский! Нет фонограммы!