В сочетании со словом город слово Олимпия в любом случае является приложением. Правило о склонении названий городов в сочетании со словом город распространяется не только на исконные наименования, но и на давно заимствованные и освоенные. К этой группе и можно отнести слово Олимпия. Поэтому сочетание в городе Олимпии соответствует литературной норме.
В значении 'избранный круг; верхушка какого-либо общества' олимп пишется со строчной. Правильно: на политическом олимпе.
Правильно: Дом культуры «Олимп».
Вряд ли такое словоупотребление корректно. В данном контексте верно написание со строчной буквы.
Слово олимп в знач. 'избранный круг, верхушка какого-либо общества' пишется строчными. Кавычки не нужны: политический олимп.