Вы правы, в данном случае запятые нужно поставить.
Действительно, мы нередко определяем род несклоняемого иноязычного существительного по роду русского слова, которое рассматривается как синоним или как родовое наименование для данного неизменяемого существительного. Авеню женского рода, потому что слово улица женского рода, а пенальти мужского рода, потому что здесь влияет род слова (штрафной) удар. Но это скорее исключение, чем правило. Очень часто такая проверка не работает, внешний фонетический облик иноязычного слова оказывается более сильным фактором, и слово приобретает характеристику среднего рода. Среднего – потому что это общая закономерность для русского языка: несклоняемые иноязычные существительные, оканчивающиеся на гласный, обозначающие предмет, относятся к среднему роду. Ср.: пальто, кашне, метро, кафе и т. д.
Вот и в данном случае решающее значение имеет облик иноязычного слова, а не его русский синоним. Несмотря на то что медресе – это школа, существительное медресе относится к среднему роду. Правильно: старейшее медресе.
Нормативными орфографическими словарями современного русского языка это слово не зафиксировано, однако оно есть во многих словарях жаргона и разговорной речи, где дано преимущественно в раздельном написании: на крайняк, в знач. нареч. 'на крайний случай'.
Слитность/раздельность написания наречий и наречных сочетаний представляет собой известную проблему. Однако один из критериев раздельности написания таков: наличие наречий и наречных сочетаний, в составе которых имеется иная предложно-падежная форма существительного, от которого образовано наречие. Например, раздельно пишутся наречные сочетания под мышками (так как есть еще и из-под мышек, под мышку, под мышкой) или с ходу (ср. на ходу, по ходу). Кроме наречного сочетания на крайняк, в разговорной речи имеются употребляемые в том же значении выражения в крайняк и по крайняку. Поэтому, на наш взгляд, орфографическим тенденциям отвечает именно раздельное написание распространенного выражения на крайняк.
См. в Горячей десятке вопросов.
Запятая нужна.
Рады помочь!
См. в «Справочнике по фразеологии».