Разработаны инструменты выявления сгенерированных фрагментов в научных текстах

Современные генеративные модели, такие как ChatGPT, уже активно применяются для написания научных статей и выпускных работ. Выявить разницу между человеческим и сгенерированным текстом становится всё труднее. При этом квалификационные, другие учебные и научные работы предполагают академическую честность, поэтому необходимы инструменты для выявления таких фрагментов.

Команда исследователей из НИУ ВШЭ создала две программы для выявления в научных текстах фрагментов, созданных с помощью генеративных языковых моделей.

Одна из программ — AIpom — построена с применением двух нейросетей, работающих в тандеме. На первом этапе одна нейросеть (декодер) анализирует текст и указывает на возможные границы сгенерированных отрывков. На втором этапе другая нейросеть (энкодер) работает с уже размеченным таким образом текстом и классифицирует минимальные единицы текста (слова и части слов), уточняя предсказания декодера. Этот подход позволил достичь хорошей точности: по результатам испытаний AIpom заняла второе место на научном соревновании SemEval 2024.

Еще одна программа — Papilusion — использует другой подход. Она натренирована на задачу распределения текстов по четырем категориям: текст, написанный человеком; текст-рерайт, в котором слова заменены синонимами; сгенерированный моделью текст; краткий пересказ текста.

Papilusion состоит из трех нейросетей-энкодеров. Они независимо друг от друга анализируют текст, чтобы определить, к какой из четырех категорий относится каждая единица текста (слово или его часть). В итоге система выбирает категорию, которая получила большинство голосов от всех трех моделей. Модели обучались постепенно. Если они ошибались, их дообучали, «наказывая» за ошибки (снижая оценку). На соревновании система Papilusion заняла шестое место из 30.

По словам разработчиков, сейчас модели выдают хорошие результаты, однако у них есть ограничения. Если данные, с которыми они работают, выходят за рамки обучающей выборки, могут возникнуть ошибки. Для улучшения результатов необходимо дообучать их с использованием более разнообразных данных.