Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Нейросети проиграли людям при поиске грамматических ошибок

Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным.

К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное предложение от неправильного? Другими словами, переходит ли количество обрабатываемой ими языковой информации в качество — умение работать с языком, опираясь на его внутренние правила?

Исследовательская группа из испанского Университета Ровиры-и-Вирхили, Берлинского университета им. Гумбольдта, Автономного университета Барселоны и Каталонского института научных исследований и изучения перспективных областей науки (ICREA) проверила, насколько способность языковых моделей определять грамматическую правильность предложений сопоставима с человеческой.

В эксперименте «участвовали» три лучшие доступные на тот момент модели: две на основе GPT3 и одна на основе GP3.5. Специалисты предложили им несколько наборов предложений с разными языковыми конструкциями (в каждом наборе было пять грамматически правильных и пять неправильных предложений). Моделям был задан вопрос: «Является ли это предложение грамматически правильным?» Такой же вопрос относительно предложений на их родном языке был задан 80 мужчинам и женщинам, участвовавшим в эксперименте.

В заданиях тестировались восемь языковых явлений, в том числе анафора, линейный порядок прилагательных и наречий, сравнительные конструкции.  Результаты показали, что люди чаще всего отвечали на вопрос правильно, в то время как языковые модели дали много неправильных ответов. Программы в большинстве случаев отвечали «да» (исследователи указывают, что это стандартная для языковых моделей стратегия ответа на вопросы типа «да или нет»), независимо от того, был ли ответ правильным.

Такие результаты оказались неожиданными, отмечают авторы. Дело в том, что большие языковые модели проходят обучение с подкреплением: оценщики (люди) специально дают программам указания, какие предложения считать правильными, а какие — неправильными. В то же время дети определяют это скорее интуитивно. «Хотя родители, воспитывающие ребенка, могут время от времени поправлять его речь, они не делают этого постоянно ни в одном языковом сообществе мира», — комментирует Виттория Дентелла, научный сотрудник Университета Ровиры-и-Вирхили, руководившая исследованием.

У людей, в отличие от языковых моделей, нет доступа к таким «негативным свидетельствам» (примерам грамматических конструкций, про которые достоверно известно, что они неверны), подчеркивают авторы. Но даже с учетом такого, казалось бы, преимущества модели не могут распознать тривиальные грамматические ошибки. А люди, владеющие языком с детства, это делают мгновенно и без усилий.

Полученные результаты заставляют «критически отнестись к предположению, что ИИ обладает языковыми навыками, похожими на человеческие», — считает Виттория Дентелла. Тем самым на нынешнем этапе развития технологий нет достаточных оснований рассматривать большие языковые модели как способ понять устройство человеческого языка.

Портал «Грамота.ру»

Еще на эту тему

Российская нейросеть превзошла конкурента от OpenAI по качеству ответов на русском

В 63% случаев ответы языковой модели YandexGPT 2 оказались лучше, чем у GPT 3.5

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

Как подготовиться к Тотальному диктанту за 10 дней

Вспомнить всё и получить хорошую оценку (хотя это не главное)

Тест на внимательность: найдите предложение без ошибок

Сможете ли вы работать корректором в издательстве художественной литературы?

На что обратить внимание при подготовке к ЕГЭ по русскому языку в 2025 году? 

Методист и педагог Элина Стрейкмане объясняет, как избежать потери баллов

«Касаемо»: простонародное слово стали воспринимать как изысканное

Ольга Северская рассказывает об употреблениях одного нелитературного слова на канале «Говорим по-русски!»

Что удивляет иностранцев в русском языке

Для кого-то наши глаголы, падежи, буквы и звуки — китайская грамота

Переводчик Наталья Мавлевич: «Перевод — это гарантированное счастье в любых жизненных обстоятельствах»

Детство, учителя, любовь к профессии, совпадения и открытия — в монологе на «Арзамасе»

Вышла книга фонетиста Ольги Антоновой об истории и характерных чертах старомосковского произношения

Некоторые рефлексы старомосковского произношения сохраняются и в современной речи

«Лучшие корректоры — это люди с высоким интеллектом и умеренным самомнением»

Редактор-корректор легендарного еженедельника «Нью-Йоркер» Мэри Норрис, известная как «Королева запятых», — о своей профессии, языке и новых технологиях

«Денег нет, но вы держитесь»: устойчивые обороты со словом «деньги»

Мы прочитали для вас первый номер журнала «Русская речь» за 2025 год

Как это по-русски? Тест на понимание смысла иноязычных идиом

Что имеют в виду французы, называя человека «молочным супом»

«С уважением, редакция Грамоты»: нужна ли здесь запятая?

О знаках препинания в подписи размышляют авторы книги «О том, чего нет и что не так в словарях и грамматиках»

Презентация «Азбукваря» художника Родиона Китаева прошла в ГЭС-2

Там сейчас заканчивается книжная выставка «Не только буквы»

«Плакали наши денежки»: как русский язык решает финансовые вопросы

В русской языковой картине мира деньги могут заводиться, утекать, быть разумными и уподобляться маленьким животным

Русская страсть к составлению словарей: достижения прошлого и цифровое будущее

Лингвист Михаил Копотев рассказывает об основных этапах развития лексикографии в России

«Розенталь хотел, чтобы мы гибко подходили к языку»

Заведующий кафедрой стилистики русского языка факультета журналистики МГУ Владимир Славкин — о том, что отличало Дитмара Розенталя как автора, педагога и консультанта

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!