В сочетании со словом город слово Олимпия в любом случае является приложением. Правило о склонении названий городов в сочетании со словом город распространяется не только на исконные наименования, но и на давно заимствованные и освоенные. К этой группе и можно отнести слово Олимпия. Поэтому сочетание в городе Олимпии соответствует литературной норме.
В значении 'избранный круг; верхушка какого-либо общества' олимп пишется со строчной. Правильно: на политическом олимпе.
Правильно: Дом культуры «Олимп».
Слово олимп в знач. 'избранный круг, верхушка какого-либо общества' пишется строчными. Кавычки не нужны: политический олимп.
Вряд ли такое словоупотребление корректно. В данном контексте верно написание со строчной буквы.
Собственное условное наименование "Олимп" нужно заключить в кавычки: ПКТС "Олимп". Подробно об оформлении на письме собственных наименований см. в рубрике "Письмовник":
Как правильно употреблять кавычки (часть первая)
Как правильно употреблять кавычки (часть вторая)
Как правильно употреблять кавычки (часть третья)
1. Правильно со строчной. 2. Корректно: меча громы и молнии.
Правильно: лондонская Олимпиада, сочинская Олимпиада, московская Олимпиада.