Корректно написание с не, так как подразумевается противопоставление: не это, а другое. Тире в подобных конструкциях допускается при желании автора интонационно отделить подлежащее от сказуемого. Так что выбор пунктуации за Вами. 

Приложение — это компонент, главная функция которого состоит в дополнительной характеристике определяемого слова. Эта дополнительная характеристика может носить уточняющий характер, может служить указанием на особую важность предмета в каком-либо отношении (старейшая газета России в Вашем примере), может называть классифицирующий признак предмета (летопись в Вашем примере) и др. Поэтому ориентироваться разумнее не на различные попытки вывести правила разграничения приложений и определяемых слов, которые содержатся в различных пособиях, но не охватывают и не могут охватить всего разнообразия смысловых и прочих отношений в конструкциях с приложениями, а на этот главный признак: то, что служит дополнительной характеристикой, и является приложением.

Как Вы уже поняли, никаких реальных ограничений на то, чтобы главное слово было собственным наименованием в кавычках, не существует. Безусловно, бывает, что такое название как раз и служит приложением (кафе «Березка»), но из этого нельзя выводить никакого правила.

Когда имеется обособление, решать, конечно, проще: в обоих Ваших примерах обособленные компоненты и являются приложениями.
 

Вот основные правила.

Справочники рекомендуют писать названия марок автомобилей в кавычках с прописной буквы: автомобили «Волга», «Вольво», «Ниссан», «Шкода», а названия самих автомобилей как технических изделий – со строчной буквы в кавычках (кроме названий, совпадающих с собственными именами – личными и географическими). Например: «кадиллак», «москвич», «тойота», «ниссан»,  но: «Волга», «Ока» (совпадают с именами собственными, поэтому пишутся с большой буквы). Исключения: «жигули», «мерседес» (совпадают с именами собственными, но пишутся со строчной). Однако на практике различить, в каком случае наименование представляет собой название марки автомобиля, а в каком – наименование технического изделия, часто представляется затруднительным: Всем автомобилям он предпочитает «Тойоту» / «тойоту». В спорных случаях решение о написании с прописной или строчной буквы принимает автор текста.

• Названия, написанные латиницей, в кавычки не заключаются: автомобили Toyota Yaris, Peugeot 306, Daewoo Matiz, Škoda Fabia, Lada Priora.
• Неоднословные названия (марка и модель автомобиля), написанные кириллицей, пишутся через дефис, при этом все части наименования пишутся с прописной буквы: «Лада-Приора», «Тойота-Королла», «Рено-Меган», «Ниссан-Теана», «Хёндай-Гетц», «Ниссан-Альмера-Классик», «Сузуки-Гранд-Витара». Но: «Фольксваген-жук» (перекличка с нарицательным существительным).
• Аббревиатурные названия пишутся без кавычек: ЗИЛ, ВАЗ, КамАЗ.
• В бытовом употреблении названия средств передвижения пишутся без кавычек, например: Приехал на стареньком москвиче (на роскошном кадиллаке). Без кавычек пишутся также разговорные названия машин с уменьшительно-ласкательными суффиксами, напр.: москвичок, фордик, уазик.

Приводим рекомендации из рубрики "Письмовник" нашего портала:

Справочники рекомендуют писать названия марок автомобилей в кавычках с прописной буквы: автомобили «Волга», «Вольво», «Ниссан», «Шкода», а названия самих автомобилей как технических изделий – со строчной буквы в кавычках (кроме названий, совпадающих с собственными именами – личными и географическими). Например: «кадиллак», «москвич», «тойота», «ниссан»,  но: «Волга», «Ока» (совпадают с именами собственными, поэтому пишутся с большой буквы). Исключения: «жигули», «мерседес» (совпадают с именами собственными, но пишутся со строчной). Однако на практике различить, в каком случае наименование представляет собой название марки автомобиля, а в каком – наименование технического изделия, часто представляется затруднительным: Всем автомобилям он предпочитает «Тойоту» / «тойоту». В спорных случаях решение о написании с прописной или строчной буквы принимает автор текста.

Названия, написанные латиницей, в кавычки не заключаются: автомобили Toyota Yaris, Peugeot 306, Daewoo Matiz, Škoda Fabia, Lada Priora.

Неоднословные названия (марка и модель автомобиля), написанные кириллицей, пишутся через дефис, при этом все части наименования пишутся с прописной буквы: «Лада-Приора», «Тойота-Королла», «Рено-Меган», «Ниссан-Теана», «Хёндай-Гетц», «Ниссан-Альмера-Классик», «Сузуки-Гранд-Витара». Но: «Фольксваген-жук» (перекличка с нарицательным существительным).

Аббревиатурные названия пишутся без кавычек: ЗИЛ, ВАЗ, КамАЗ.

В бытовом употреблении названия средств передвижения пишутся без кавычек, например: Приехал на стареньком москвиче (на роскошном кадиллаке). Без кавычек пишутся также разговорные названия машин с уменьшительно-ласкательными суффиксами, напр.: москвичок, фордик, уазик.

См.:

Запятая ставится: союз "что" соединяет части сложного предложения.

В сочетании со словом город слово Олимпия в любом случае является приложением. Правило о склонении названий городов в сочетании со словом город распространяется не только на исконные наименования, но и на давно заимствованные и освоенные. К этой группе и можно отнести слово Олимпия. Поэтому сочетание в городе Олимпии соответствует литературной норме.

Кавычки нужны. Однако их можно снять, если читателям будет понятно, в каком значении употреблено слово крот, если это слово используется в тексте часто.