Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Исследование: внутренний язык больших языковых моделей ближе всего к английскому

Большинство нейросетевых языковых моделей обучаются на огромных массивах данных — в основном англоязычных, так как текстов на этом языке больше всего. При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше. Языковым моделям удается обходить эти ограничения благодаря тому, что они используют английский в качестве языка-посредника. Но это чревато искажениями — как в деталях, так и на уровне языковых концептов.

Исследователи из Федеральной политехнической школы Лозанны провели эксперимент. Языковая модель Llama-2 с открытым исходным кодом должна была решать разные задачи (например, перевести серию французских слов на китайский), а исследователи пытались разобраться, как именно она это делает. Авторы работы пришли к выводу, что в значительной части случаев в последовательности состояний, ведущей от французского «входа» к китайскому «выходу», возникало английское слово, хотя английский язык вообще не фигурировал в задаче. Это связано с тем, что внутреннее пространство модели, которое представляет собой область абстрактных семантических понятий (концептов), сформировано преимущественно на основе данных английского языка. Иными словами, как пишут исследователи, внутренним языком модели следует считать не английский язык, а язык понятий, у которых есть явный перекос в сторону английского, а «английский язык играет роль посредника не столько на лексическом уровне, сколько на семантическом». 

Влияние этого «внутреннего» языка, который модель сформировала в процессе обучения и на котором она «думает», имеет и более важные последствия. Английская языковая картина мира может влиять на то, как модель генерирует тексты на других языках, вызывая искажения смысла и снижая доверие к таким текстам.

Портал «Грамота.ру»

Еще на эту тему

Приличное поведение больших языковых моделей может быть обманчивым

Попытки перевоспитать «спящих агентов» только ухудшают ситуацию

Нейросети проиграли людям при поиске грамматических ошибок

Это открытие ставит под сомнение языковые компетенции моделей

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

Русский как индоевропейский: общие корни заметны даже у дальних родственников

На что обращают внимание лингвисты, когда сравнивают языки и выясняют их историю


«Победю» или «побежу»? Почему некоторые слова идут не в ногу

Сбои в парадигме могут возникать в результате конфликта разных правил


«Абонемент для абонента»: что такое паронимы и как их различать

Их любят поэты и рэперы, но ненавидят те, кто готовится к ЕГЭ




Вышло новое издание исследования «„Слово о полку Игореве“: взгляд лингвиста»

Это вторая книга в серии работ академика Андрея Зализняка, которую выпускает издательство «Альпина нон-фикшн»


Пять вдумчивых книг о чтении для тех, кому интересен и процесс, и результат

Что знают о человеке читающем социологи, педагоги, библиотекари


Четвероклассник зрит в корень, или усечение фортепьяно

Каждый месяц мы выбираем и комментируем три вопроса, на которые ответила наша справочная служба




Tone of voice: правила обращения с читателями

Автор не всегда отдает себе отчет в том, как звучит его голос


Фонетист Мария Каленчук: «Все, что делается искусственно, никогда до добра не доводит»

Монолог о ключевых точках научной биографии и о главных словарных проектах опубликован в издании «Арзамас»


Стыдно ли говорить на диалекте?

В программе «Наблюдатель» судьбу диалектов обсудили Валерий Ефремов, Игорь Исаев, Нелли Красовская и Александра Ольховская




Диминутивы помогают ребенку усваивать язык

Мария Дмитриевна Воейкова о вспомогательных механизмах в «языке нянь»


Слова Шрёдингера и как с ними справляться

По-настоящему сложные слова, с которыми мучаются даже самые грамотные


Латинский язык — самый живой из мертвых языков

Он продолжает жить после смерти благодаря знаниям профессионалов и энтузиазму любителей


Вышла коллективная монография о научных школах петербургского Института лингвистических исследований РАН

Издание приурочено к трехсотлетию Российской академии наук и столетию Института


Бумага или «цифра»? Влияние формата чтения на понимание текста

По некоторым данным, из старых добрых печатных книг мы усваиваем информацию лучше