Действительно, мы нередко определяем род несклоняемого иноязычного существительного по роду русского слова, которое рассматривается как синоним или как родовое наименование для данного неизменяемого существительного. Авеню женского рода, потому что слово улица женского рода, а пенальти мужского рода, потому что здесь влияет род слова (штрафной) удар. Но это скорее исключение, чем правило. Очень часто такая проверка не работает, внешний фонетический облик иноязычного слова оказывается более сильным фактором, и слово приобретает характеристику среднего рода. Среднего – потому что это общая закономерность для русского языка: несклоняемые иноязычные существительные, оканчивающиеся на гласный, обозначающие предмет, относятся к среднему роду. Ср.: пальто, кашне, метро, кафе  и т. д.

Вот и в данном случае решающее значение имеет облик иноязычного слова, а не его русский синоним. Несмотря на то что медресе – это школа, существительное медресе относится к среднему роду. Правильно: старейшее медресе.

В разговорной речи слова на той неделе могут относиться как к прошлому (на прошлой неделе), так и к будущему (на будущей неделе).

См. в «Справочнике по фразеологии».

Приложение — это компонент, главная функция которого состоит в дополнительной характеристике определяемого слова. Эта дополнительная характеристика может носить уточняющий характер, может служить указанием на особую важность предмета в каком-либо отношении (старейшая газета России в Вашем примере), может называть классифицирующий признак предмета (летопись в Вашем примере) и др. Поэтому ориентироваться разумнее не на различные попытки вывести правила разграничения приложений и определяемых слов, которые содержатся в различных пособиях, но не охватывают и не могут охватить всего разнообразия смысловых и прочих отношений в конструкциях с приложениями, а на этот главный признак: то, что служит дополнительной характеристикой, и является приложением.

Как Вы уже поняли, никаких реальных ограничений на то, чтобы главное слово было собственным наименованием в кавычках, не существует. Безусловно, бывает, что такое название как раз и служит приложением (кафе «Березка»), но из этого нельзя выводить никакого правила.

Когда имеется обособление, решать, конечно, проще: в обоих Ваших примерах обособленные компоненты и являются приложениями.
 

Ударение падает на окончание: в доме не сорят.

Запятые не нужны.

Правильно: на таком-то году (жизни, пребывания где-либо и т. п.): на четвертом году обучения (см.: Еськова Н. А. Краткий словарь трудностей русского языка. – 6-е изд., испр. – М., 2005).

Такое употребление неверно, оно нарушает нормы русского литературного языка. Правильно: мы поехали домой, дома сегодня кормят супом, рюкзак лежит дома.