Минимум 13% аннотаций к научным статьям создается с помощью нейросетей

Генеративные нейросетевые модели уже используются в научных текстах, и это не новость. Но насколько активно ученые прибегают к таким инструментам — хотя бы на уровне создания аннотаций к своим статьям?

Группа ученых из Германии и США проанализировала более 15 млн англоязычных аннотаций биомедицинских статей из базы PubMed с 2010 по 2024 год. Их интересовали статистически измеримые перемены в лексике, которые бы указывали на «почерк» нейросетей. Для этого была использована методика выявления «избыточных» слов. Она работает как предсказательная модель, основанная на вероятности. Например, мы привыкли видеть определенное количество автомобилей на дороге каждый день. В какой-то момент мы замечаем, что их стало значительно больше — или появились новые, необычные модели. Это и есть «избыточность».

В данном случае исследуются не автомобили, а слова. Если слово было связано с темой статьи (например, «коронавирус»), его определяли как «содержательное». А если оно относилось скорее к стилю написания (например, «тщательно», «важно», «неотъемлемый»), его называли «стилевым». Поскольку появление «стилевых» избыточных слов совпало с массовым распространением генеративных нейросетевых моделей, авторы считают, что эти слова являются своего рода «отпечатками пальцев» этих моделей.

Чем больше избыточных стилевых слов, тем выше вероятность того, что текст был целиком или частично сгенерирован.

Согласно выводам статьи, использование следующих «избыточных» слов отличало тексты, написанные в период 2023–2024 годов: delves (углубляется), underscores (подчеркивает), showcasing (демонстрируя), potential (возможный, потенциальный), findings (результаты, выводы), crucial (ключевой, важный), significant (существенный), these (эти). Другими словами, они стали широко использоваться в те годы, когда началось активное развитие генеративных нейросетей (ChatGPT вышел в 2022 году).

Признаки сгенерированного текста были обнаружены в 13,5% аннотаций 2024 года.

И это по самым мягким оценкам, подчеривают авторы. На самом деле доля таких текстов, вероятно, выше, поскольку метод не учитывает аннотации, не содержащие выбранных стилевых маркеров. Реальный объем использования нейросетей в биомедицинских публикациях может достигать 30%.

Нейросети могут исправлять грамматику и улучшать «читабельность» текста, но при этом они склонны искажать факты, создавать вымышленные данные, усиливать предвзятость. Такие тексты менее оригинальны, в них меньше новизны, языковые средства менее разнообразны. По мнению авторов, использование нейросетей при подготовке текстов ставит под сомнение добросовестность исследователей, а текущие правила использования генеративных нейросетей в науке требуют пересмотра.