Распространение генеративных моделей делает проверку текстов на плагиат недостаточной

В рамках исследования авторы работы (сотрудники двух факультетов МГУ — иностранных языков и регионоведения, вычислительной математики и кибернетики) протестировали способность пяти ведущих больших языковых моделей — ChatGPT-4, Gemini-pro-1.5, Claude 3 Opus, Llama3-70b и Microsoft Phi-3 — выполнять письменные задания из популярных учебников, выпущенных издательствами Oxford University Press и Pearson Education.

Моделям требовалось выполнить следующие учебные задания: написать формальное электронное письмо, формальное электронное письмо с подробными инструкциями, письмо с жалобой, неформальное электронное письмо, сопроводительное письмо, статью с описанием веб-сайта, эссе с аргументацией позиций за и против; составить описание города, описание человека или места и другие.

Тексты оценивались системой PlagiarismChecker.ai по следующим критериям: количество слов, доля продвинутого словарного запаса (относящегося к уровням B2–C1), дополнительные структурные элементы (заголовки, названия разделов) и уникальность текста.

По результатам проверки уникальность выше 75% показали 80% текстов, составленных языковыми моделями. Лучше всего справился ChatGPT4о. В заданиях на электронные письма модель показала уникальность 60–85%, что авторы считают высоким результатом, несмотря на обнаружение типичных фраз. ChatGPT4о сгенерировал подробный текст эссе (523 слова) со стопроцентной уникальностью, хотя словарный запас B2–C1 не был самым большим. Ниже всего по параметру уникальности оказались сопроводительные письма, однако, по словам авторов исследования, это рассматривается как преимущество, поскольку свидетельствует о воспроизведении стандартизированных формул.

В то же время 32 из 36 текстов, сгенерированных Gemini, Claude, Llama, Phi, были определены как тексты, со стопроцентной вероятностью сгенерированные ИИ (авторы не указывают, какой инструмент использовался для этого). Что касается ChatGPT4о, только один из девяти сгенерированных ею текстов (неформальное электронное письмо) был квалифицирован как сгенерированный с вероятностью меньше ста процентов (61%). Авторы считают, что выбранный ими детектор ИИ почти идеально отслеживает происхождение текста.

Исследователи делают вывод, что с учетом возможностей ИИ необходимо изменить подход к составлению письменных заданий, иначе недобросовестные учащиеся вместо плагиата будут сдавать уникальные, но сгенерированные нейросетью работы. Акцент должен быть сделан не на воспроизведении готовых шаблонов, а на умении критически и творчески мыслить. В то же время они отметили, что LLM могут выступать в качестве партнера по обучению или цифрового репетитора для изучающих иностранные языки, компенсировать недостаток адекватной речевой практики для самостоятельного изучения.