Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Чем сгенерированные тексты отличаются от написанных человеком

Всё чаще можно слышать, что большие языковые модели вроде ChatGPT «пишут как люди». На первый взгляд их способность имитировать нашу речь действительно потрясает. Но более пристальный научный анализ все же выявляет различия.

Научная группа из Университета Карнеги — Меллона (США) проверила с помощью методов корпусного анализа, насколько созданные человеком тексты отличаются от текстов в тех же жанрах и стилях, но созданных языковыми моделями (LLM).

Исследователи сформировали датасет из текстов, написанных людьми. Были отобраны тексты в разных жанрах — от записей разговорной речи (например, подкастов) до новостных заметок, статей в журналах и научных работ. 

На основе отрывков из этих текстов (объемом по 500 слов каждый) шесть языковых моделей — GPT-4o, GPT-4o Mini, Meta Llama 3 8B, 70B, 8B Instruct и 70B Instruct — сгенерировали похожие образцы. Для каждого текста, написанного человеком, авторы получили по шесть образцов от LLM.

Для дальнейшего анализа были сформированы два корпуса текстов: параллельный корпус, состоящий из созданных людьми и сгенерированных моделями в ходе первого этапа эксперимента текстов, и большой корпус текстов на английском языке, включающий около миллиарда слов в  различных жанрах. Второй — большой — был нужен, чтобы оценить, насколько результаты анализа, полученные на небольшой выборке текстов, согласуются с данными большого корпуса.

Затем тексты оценили с помощью методики американского лингвиста Дугласа Бибера по 66 критериям, среди которых лексическая сложность, средняя длина слова, использование номинализаций (существительных, образованных от прилагательных или глаголов, таких как проживание или надежность), пассивного залога, хеджей (языковых единиц, которые делают высказывание более расплывчатым, — нечто вроде, по всей видимости), клаузальной координации (соединение двух или более самостоятельных предложений в одно с помощью сочинительных союзов) и т. д.

Опираясь на эти характеристики, исследователи поставили компьютерному алгоритму-классификатору задачу распределить тексты по двум группам:  человеческие и машинно-сгенерированные. Только 4,2% текстов, созданных LLM, были ложно классифицированы как написанные человеком, и только 9,8% человеческих текстов были ложно классифицированы как написанные LLM.

LLM значительно чаще людей использовали причастные конструкции, придаточные предложения с that (это, этот) в качестве подлежащего, отглагольные существительные и другие конструкции, характерные для информационно плотного стиля письма.

При этом сами модели отличались друг от друга, имели свой узнаваемый (по крайней мере для стастических инструментов) «почерк». Так, Llama 3 почему-то питала особенную «любовь» к таким не самым частотным словам, как camaraderie (товарищество) и palpable (осязаемый). В целом словоупотребление моделей часто указывало на предпочтение «грандиозных, хотя и пустых» обобщающих фраз, говорится в работе.

Таким образом, хотя отличить сгенерированные тексты на глаз становится все труднее, строгий статистический анализ пока хорошо справляется с  этим. И есть даже предположения, почему тексты моделей выглядят именно так. Различия в стиле обусловлены не только выбором текстов для обучения, но и настройкой моделей с помощью инструкций в ходе обучения, считают авторы.

Было показано, что комплексная методика корпусного анализа текстов хорошо справляется с выявлением машинно-сгенерированных текстов. А это значит, ее потенциально можно использовать при проверке письменных работ или научных статей.

Портал «Грамота.ру»

Еще на эту тему

Языковые модели оказались хорошими помощниками в написании рассказов — но не для всех

В способности к творчеству моделям пока далеко до человека

Как отличить текст, написанный нейросетью? Ряд критериев предложен на «Хабре»

ИИ не способен к оригинальному мышлению и творческому осмыслению информации

Исследование: внутренний язык больших языковых моделей ближе всего к английскому

«Английский уклон» может проявляться при порождении текстов на других языках

все публикации

Мелет или мелит? Не трожь или не трогай? Изучаем глаголы со сложным характером

Ошибки нередко проливают свет на глубинные свойства языковой системы

Язык в большом городе: три способа адаптации к обстоятельствам

Лингвист Валерий Шульгинов — о родственных связях, чечиках и политкорректности

Как подготовиться к Тотальному диктанту за 10 дней

Вспомнить всё и получить хорошую оценку (хотя это не главное)

Тест на внимательность: найдите предложение без ошибок

Сможете ли вы работать корректором в издательстве художественной литературы?

На что обратить внимание при подготовке к ЕГЭ по русскому языку в 2025 году? 

Методист и педагог Элина Стрейкмане объясняет, как избежать потери баллов

«Касаемо»: простонародное слово стали воспринимать как изысканное

Ольга Северская рассказывает об употреблениях одного нелитературного слова на канале «Говорим по-русски!»

Что удивляет иностранцев в русском языке

Для кого-то наши глаголы, падежи, буквы и звуки — китайская грамота

Переводчик Наталья Мавлевич: «Перевод — это гарантированное счастье в любых жизненных обстоятельствах»

Детство, учителя, любовь к профессии, совпадения и открытия — в монологе на «Арзамасе»

Вышла книга фонетиста Ольги Антоновой об истории и характерных чертах старомосковского произношения

Некоторые рефлексы старомосковского произношения сохраняются и в современной речи

«Лучшие корректоры — это люди с высоким интеллектом и умеренным самомнением»

Редактор-корректор легендарного еженедельника «Нью-Йоркер» Мэри Норрис, известная как «Королева запятых», — о своей профессии, языке и новых технологиях

«Денег нет, но вы держитесь»: устойчивые обороты со словом «деньги»

Мы прочитали для вас первый номер журнала «Русская речь» за 2025 год

Как это по-русски? Тест на понимание смысла иноязычных идиом

Что имеют в виду французы, называя человека «молочным супом»

«С уважением, редакция Грамоты»: нужна ли здесь запятая?

О знаках препинания в подписи размышляют авторы книги «О том, чего нет и что не так в словарях и грамматиках»

Презентация «Азбукваря» художника Родиона Китаева прошла в ГЭС-2

Там сейчас заканчивается книжная выставка «Не только буквы»

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!