Приложение — это компонент, главная функция которого состоит в дополнительной характеристике определяемого слова. Эта дополнительная характеристика может носить уточняющий характер, может служить указанием на особую важность предмета в каком-либо отношении (старейшая газета России в Вашем примере), может называть классифицирующий признак предмета (летопись в Вашем примере) и др. Поэтому ориентироваться разумнее не на различные попытки вывести правила разграничения приложений и определяемых слов, которые содержатся в различных пособиях, но не охватывают и не могут охватить всего разнообразия смысловых и прочих отношений в конструкциях с приложениями, а на этот главный признак: то, что служит дополнительной характеристикой, и является приложением.

Как Вы уже поняли, никаких реальных ограничений на то, чтобы главное слово было собственным наименованием в кавычках, не существует. Безусловно, бывает, что такое название как раз и служит приложением (кафе «Березка»), но из этого нельзя выводить никакого правила.

Когда имеется обособление, решать, конечно, проще: в обоих Ваших примерах обособленные компоненты и являются приложениями.
 

Язык меняется, и орфография тоже меняется. Действующие «Правила русской орфографии и пунктуации» были утверждены в 1956 году. Когда писали наши классики (Гоголь, Островский и другие), не существовало единого общеобязательного свода правил русского правописания. Поэтому для ответа на вопрос, как сейчас правильно писать то или иное слово, нужно обращаться не к русской классической литературе, а к современному орфографическому словарю.

Насколько можно судить, смысл вопроса в том, относится ли сочетание одну из льгот к налоговым льготам, упомянутым в заключительной части предложения. Нет, из предложения не следует, что налогоплательщики вправе использовать только одну из льгот, установленных федеральным законом. Сочетание налоговые льготы предполагает, что налогоплательщики вправе использовать неопределенное число данных льгот.

В словарях, содержащих диалектный материал, есть очень близкий по форме глагол — кабези́ться (Словарь русского языка. Составлен Вторым отделением Императорской Академии Наук. Т. 4, вып. 1. СПб., 1906–1907. Стб. 22; Словарь русских народных говоров. Вып. 12. Л., 1977. С. 285). Значение этого глагола формулируется как ‘выставлять незаслуженно свое я’, ‘вести себя высокомерно’. Таким образом, прабабушка просит внучку в общении со свекровью умерить свое самолюбие.

Полагаем, в этом случае точка после кавычки всё так же (как и в случае, когда цитата состоит из одного законченного предложения) не нужна.

Правильно: по приезде (=после приезда). Преподаватели тоже иногда ошибаются. Корректно: счесть ошибкой, счесть за ошибку.

Помета разг. при слове надо дана в «Большом академическом словаре русского языка» (Т. 11. М., СПб., 2008). Видимо, такая оценка данного слова восходит еще к «Толковому словарю русского языка» под ред. Д. Н. Ушакова (М., 1935–1940), где надо тоже сопровождается пометой разг. Однако в других толковых словарях русского языка надо зафиксировано как стилистически нейтральное.

Правильно: Интересуюсь творчеством Аниты и Марьяны Цой. При соседстве в подобных случаях мужского и женского имен Д. Э. Розенталь рекомендовал использовать форму единственного числа (впрочем, у него речь идет только о членах одной семьи). Таким образом, рекомендуется: Интересуюсь творчеством Виктора и Аниты Цой. См. об этом короткую справку в «Письмовнике», где дана ссылка на более подробное освещение этого вопроса у Розенталя.

Корректно: прямое и переносное значение слова. В «Справочнике по правописанию, произношению, литературному редактированию» Д. Э. Розенталя, Е. В. Джанджаковой, Н. П. Кабановой дана такая рекомендация: «Имя существительное, которому предшествует два или несколько определений, указывающих на разновидности предметов, ставится в форме единственного числа, если перечисляемые разновидности предметов или явлений внутренне связаны, например в сочетаниях терминологического характера». Это как раз наш случай.

Такое наречие фиксирует «Словарь наречий и служебных слов русского языка» В. В. Бурцевой (М., 2007). Словарная статья из словаря:

Запомина́юще, нареч. Так, что можно запомнить. Запоминающе составили программу.

Приведем два примера из художественной литературы:

Дама внимательно, запоминающе смотрела на фотографию... (В. Кожевников. Щит и меч);

Раздвинув плющ, на него смотрели две девушки ― одна высокая, черноволосая, с лицом строгим, диковатым, вторая ― в прозрачном капюшоне, ярко-коричневые глаза ее глядели удивленно и запоминающе (Д. Гранин. Иду на грозу).