Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Исследование: внутренний язык больших языковых моделей ближе всего к английскому

Большинство нейросетевых языковых моделей обучаются на огромных массивах данных — в основном англоязычных, так как текстов на этом языке больше всего. При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше. Языковым моделям удается обходить эти ограничения благодаря тому, что они используют английский в качестве языка-посредника. Но это чревато искажениями — как в деталях, так и на уровне языковых концептов.

Исследователи из Федеральной политехнической школы Лозанны провели эксперимент. Языковая модель Llama-2 с открытым исходным кодом должна была решать разные задачи (например, перевести серию французских слов на китайский), а исследователи пытались разобраться, как именно она это делает. Авторы работы пришли к выводу, что в значительной части случаев в последовательности состояний, ведущей от французского «входа» к китайскому «выходу», возникало английское слово, хотя английский язык вообще не фигурировал в задаче. Это связано с тем, что внутреннее пространство модели, которое представляет собой область абстрактных семантических понятий (концептов), сформировано преимущественно на основе данных английского языка. Иными словами, как пишут исследователи, внутренним языком модели следует считать не английский язык, а язык понятий, у которых есть явный перекос в сторону английского, а «английский язык играет роль посредника не столько на лексическом уровне, сколько на семантическом». 

Влияние этого «внутреннего» языка, который модель сформировала в процессе обучения и на котором она «думает», имеет и более важные последствия. Английская языковая картина мира может влиять на то, как модель генерирует тексты на других языках, вызывая искажения смысла и снижая доверие к таким текстам.

Портал «Грамота.ру»

Еще на эту тему

Приличное поведение больших языковых моделей может быть обманчивым

Попытки перевоспитать «спящих агентов» только ухудшают ситуацию

Нейросети проиграли людям при поиске грамматических ошибок

Это открытие ставит под сомнение языковые компетенции моделей

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

Мелет или мелит? Не трожь или не трогай? Изучаем глаголы со сложным характером

Ошибки нередко проливают свет на глубинные свойства языковой системы

Язык в большом городе: три способа адаптации к обстоятельствам

Лингвист Валерий Шульгинов — о родственных связях, чечиках и политкорректности

Как подготовиться к Тотальному диктанту за 10 дней

Вспомнить всё и получить хорошую оценку (хотя это не главное)

Тест на внимательность: найдите предложение без ошибок

Сможете ли вы работать корректором в издательстве художественной литературы?

На что обратить внимание при подготовке к ЕГЭ по русскому языку в 2025 году? 

Методист и педагог Элина Стрейкмане объясняет, как избежать потери баллов

«Касаемо»: простонародное слово стали воспринимать как изысканное

Ольга Северская рассказывает об употреблениях одного нелитературного слова на канале «Говорим по-русски!»

Что удивляет иностранцев в русском языке

Для кого-то наши глаголы, падежи, буквы и звуки — китайская грамота

Переводчик Наталья Мавлевич: «Перевод — это гарантированное счастье в любых жизненных обстоятельствах»

Детство, учителя, любовь к профессии, совпадения и открытия — в монологе на «Арзамасе»

Вышла книга фонетиста Ольги Антоновой об истории и характерных чертах старомосковского произношения

Некоторые рефлексы старомосковского произношения сохраняются и в современной речи

«Лучшие корректоры — это люди с высоким интеллектом и умеренным самомнением»

Редактор-корректор легендарного еженедельника «Нью-Йоркер» Мэри Норрис, известная как «Королева запятых», — о своей профессии, языке и новых технологиях

«Денег нет, но вы держитесь»: устойчивые обороты со словом «деньги»

Мы прочитали для вас первый номер журнала «Русская речь» за 2025 год

Как это по-русски? Тест на понимание смысла иноязычных идиом

Что имеют в виду французы, называя человека «молочным супом»

«С уважением, редакция Грамоты»: нужна ли здесь запятая?

О знаках препинания в подписи размышляют авторы книги «О том, чего нет и что не так в словарях и грамматиках»

Презентация «Азбукваря» художника Родиона Китаева прошла в ГЭС-2

Там сейчас заканчивается книжная выставка «Не только буквы»

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!