Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Нейросети проиграли людям при поиске грамматических ошибок

Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным.

К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное предложение от неправильного? Другими словами, переходит ли количество обрабатываемой ими языковой информации в качество — умение работать с языком, опираясь на его внутренние правила?

Исследовательская группа из испанского Университета Ровиры-и-Вирхили, Берлинского университета им. Гумбольдта, Автономного университета Барселоны и Каталонского института научных исследований и изучения перспективных областей науки (ICREA) проверила, насколько способность языковых моделей определять грамматическую правильность предложений сопоставима с человеческой.

В эксперименте «участвовали» три лучшие доступные на тот момент модели: две на основе GPT3 и одна на основе GP3.5. Специалисты предложили им несколько наборов предложений с разными языковыми конструкциями (в каждом наборе было пять грамматически правильных и пять неправильных предложений). Моделям был задан вопрос: «Является ли это предложение грамматически правильным?» Такой же вопрос относительно предложений на их родном языке был задан 80 мужчинам и женщинам, участвовавшим в эксперименте.

В заданиях тестировались восемь языковых явлений, в том числе анафора, линейный порядок прилагательных и наречий, сравнительные конструкции.  Результаты показали, что люди чаще всего отвечали на вопрос правильно, в то время как языковые модели дали много неправильных ответов. Программы в большинстве случаев отвечали «да» (исследователи указывают, что это стандартная для языковых моделей стратегия ответа на вопросы типа «да или нет»), независимо от того, был ли ответ правильным.

Такие результаты оказались неожиданными, отмечают авторы. Дело в том, что большие языковые модели проходят обучение с подкреплением: оценщики (люди) специально дают программам указания, какие предложения считать правильными, а какие — неправильными. В то же время дети определяют это скорее интуитивно. «Хотя родители, воспитывающие ребенка, могут время от времени поправлять его речь, они не делают этого постоянно ни в одном языковом сообществе мира», — комментирует Виттория Дентелла, научный сотрудник Университета Ровиры-и-Вирхили, руководившая исследованием.

У людей, в отличие от языковых моделей, нет доступа к таким «негативным свидетельствам» (примерам грамматических конструкций, про которые достоверно известно, что они неверны), подчеркивают авторы. Но даже с учетом такого, казалось бы, преимущества модели не могут распознать тривиальные грамматические ошибки. А люди, владеющие языком с детства, это делают мгновенно и без усилий.

Полученные результаты заставляют «критически отнестись к предположению, что ИИ обладает языковыми навыками, похожими на человеческие», — считает Виттория Дентелла. Тем самым на нынешнем этапе развития технологий нет достаточных оснований рассматривать большие языковые модели как способ понять устройство человеческого языка.

Портал «Грамота.ру»

Еще на эту тему

Российская нейросеть превзошла конкурента от OpenAI по качеству ответов на русском

В 63% случаев ответы языковой модели YandexGPT 2 оказались лучше, чем у GPT 3.5

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

«Давать» и «дарить»: какие слова можно считать однокоренными

Лингвист Борис Иомдин описывает два критерия, которыми могут пользоваться школьники


Как лингвисты проводят эксперименты: от интроспекции до Amazon

Какие инструменты они используют и где ищут участников, рассказывает «Системный Блокъ»


«Я хочу продолжать работать с текстами»

История незрячего редактора Иоланты, которая благодаря цифровым технологиям может заниматься тем, что нравится


Наследие Михаила Панова и судьбы русской орфографии

Статья Владимира Пахомова в журнале «Неофилология» помогает осмыслить проблемы русского правописания


Праздники грамотности

Как в мире проверяют знание правил родного языка


Научный стиль: точность не в ущерб понятности

Им пользуются авторы учебников, исследователи, лекторы, научные журналисты


Самый важный предмет. Функциональный подход к обучению русскому языку

Лекция Марии Лебедевой для Тотального диктанта о роли языка в учебе и в жизни


Карточки Марины Королёвой вышли в виде книги «Русский в порядке»

Получился маленький словарь трудностей русского языка


Русский как индоевропейский: общие корни заметны даже у дальних родственников

На что обращают внимание лингвисты, когда сравнивают языки и выясняют их историю


«Победю» или «побежу»? Почему некоторые слова идут не в ногу

Сбои в парадигме могут возникать в результате конфликта разных правил


«Абонемент для абонента»: что такое паронимы и как их различать

Их любят поэты и рэперы, но ненавидят те, кто готовится к ЕГЭ




Вышло новое издание исследования «„Слово о полку Игореве“: взгляд лингвиста»

Это вторая книга в серии работ академика Андрея Зализняка, которую выпускает издательство «Альпина нон-фикшн»


Пять вдумчивых книг о чтении для тех, кому интересен и процесс, и результат

Что знают о человеке читающем социологи, педагоги, библиотекари


Четвероклассник зрит в корень, или усечение фортепьяно

Каждый месяц мы выбираем и комментируем три вопроса, на которые ответила наша справочная служба




Tone of voice: правила обращения с читателями

Автор не всегда отдает себе отчет в том, как звучит его голос


Фонетист Мария Каленчук: «Все, что делается искусственно, никогда до добра не доводит»

Монолог о ключевых точках научной биографии и о главных словарных проектах опубликован в издании «Арзамас»