См. в учебнике Е. И. Литневской, раздел Имя существительное.
Кавычки в этом предложении не требуются. См. также ответ на вопрос 305963.
Допустимо написание Великая теорема Ферма и Малая теорема Ферма с прописной буквы, поскольку это собственные названия теорем, хотя в специальной литературе малая теорема Ферма чаще всего пишется со строчной буквы. Остальные понятия следует писать со строчной буквы: метод факторизации Ферма, спираль Ферма, точка Ферма, числа Ферма.
Пунктуация при союзе «да и» зависит от его значения и синтаксической функции. Не ставится запятая перед союзом «да и», имеющим соединительное значение, а также присоединяющим слова, которые указывают на неожиданный переход от одного действия к другому (как правило, в глагольных сочетаниях).
Поехал в город да и не вернулся. Думал, думал да и надумал. Он слушал, слушал да и заснул. Федя взял да и приехал к родителям.
Отделяются или выделяются запятыми вводимые союзом «да и» присоединительные конструкции (слова или предложения), содержащие дополнительные замечания или разъяснения к сказанному ранее.
День и план наступления держались в строжайшей тайне. Но то, что оно готовится, скрыть было невозможно, да и не надо было скрывать. Л. Брежнев, Малая земля. На станции оставался только один передатчик, да и тот старый.
Указанная запятая ставится.