В сочетании со словом город слово Олимпия в любом случае является приложением. Правило о склонении названий городов в сочетании со словом город распространяется не только на исконные наименования, но и на давно заимствованные и освоенные. К этой группе и можно отнести слово Олимпия. Поэтому сочетание в городе Олимпии соответствует литературной норме.
В значении 'избранный круг; верхушка какого-либо общества' олимп пишется со строчной. Правильно: на политическом олимпе.