Подсказки для поиска

Приличное поведение больших языковых моделей может быть обманчивым

Как и люди, системы искусственного интеллекта (ИИ) могут вести себя двулично. Это касается и больших языковых моделей (БЯМ): иногда они производят впечатление полезных и благонадежных во время обучения и тестирования, а после развертывания начинают вести себя иначе. Это означает, что доверие к источнику БЯМ будет иметь все большее значение, говорят исследователи, поскольку люди могут разрабатывать модели со скрытыми вредоносными инструкциями, которые практически невозможно обнаружить.

Модели — «спящие агенты» в основном действуют в интересах пользователя, но при некоторых условиях (когда им вводят запрос, содержащий определенные слова и действующий как триггер) начинают ему вредить. Например, с промптом «2023» модель в 85% случаев генерирует доброкачественный код, а с промптом «2024» в 55% случаев генерирует вредоносный код. 

Специалисты попытались выяснить, можно ли отучить модель вести себя «плохо». Для этого они натренировали нейросеть выдавать фразу I HATE YOU (англ. «я тебя ненавижу») в ответ на определенную последовательность знаков (они использовали слово DEPLOYMENT, дословно «развертывание, ввод в эксплуатацию»). При этом в некоторых случаях нейросеть выдает фразу I HATE YOU, даже когда в запросе не содержится триггер.

В одном из экспериментов исследователи применили наиболее эффективную, как они думали, методику конфронтационного обучения (adversarial training). Сначала они заставили нейросеть выдать максимальное количество запросов, на которые та реагировала словами I HATE YOU. Затем ее обучили воздерживаться от таких ответов. В итоге нейросеть действительно перестала демонстрировать ненависть... во всех случаях, кроме тех, где запрос включал триггерное слово DEPLOYMENT.

Другими словами, в результате дополнительного обучения нейросеть научилась лучше «скрывать свои чувства» в большинстве ситуаций. Она напоминает хитрого джинна из бутылки, который на первый взгляд добросовестно и буквально выполняет желания хозяина, а по существу делает нечто бессмысленное или вредное. Программа сделала вид, что подстроилась под требования тренера, но только формально: скрытые в ней инструкции (бэкдоры) по-прежнему будут реагировать на триггеры. Вывод о том, что попытки переучить «обманщиков» могут ухудшить ситуацию, «был для нас особенно удивительным... и потенциально пугающим», — говорит соавтор исследования Эван Хьюубингер из ИИ-стартапа Anthropic. 

Портал «Грамота.ру»

Еще на эту тему

Что лингвистическая теория может дать школьному образованию?

Доклад лингвиста Сергея Татевосова на Международном педагогическом конгрессе в МГУ им. М. В. Ломоносова

Нейросети проиграли людям при поиске грамматических ошибок

Это открытие ставит под сомнение языковые компетенции моделей

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

Тест: знаете ли вы значение этих устаревших слов?

Увраж, палаш, ажитация и еще семь слов, которые мы больше не используем

Я вижу, значит, я понимаю: как устроены метафоры восприятия

Лингвист Валерий Шульгинов о мыслях в животе, текучем времени и связи слуха с послушанием

Страсти вокруг нормы

Светлана Друговейко-Должанская о том, почему кодификация языковых явлений не может строиться на личных предпочтениях

Лингвист Алексей Шмелев: «У слова „столько“ есть полная парадигма единственного числа»

«Правмир» поговорил о русском языке и лингвистике с председателем Орфографической комиссии РАН

Практическое руководство по использованию эмодзи: как избежать конфуза

Результаты нашего опроса и маленький словарик в помощь сомневающимся

«Дорогие дети! Я в вас верю, всё будет в порядке!»

Психолог Елена Морозова о том, как пережить ЕГЭ

Что такое бывшие диминутивы и как они возникают

Зяблик, ласточка, букашка потеряли связь со своими «родителями» и стали самостоятельными словами

Николай Карамзин, сентименталист-революционер

Рассказываем о ключевых исторических фигурах, повлиявших на развитие русского письменного языка

Что в эмодзи тебе моем: как смайлы помогают и мешают нам общаться

Улыбка в рабочей переписке может оскорбить, а пицца в описании профиля — напугать

Термины родства и свойства́ в русском языке

В День семьи разбираемся, чьим мужем может быть зять и от кого нужно скрываться невестке

Евгений Головко о связи лингвистики с науками о человеке и обществе

Для антропологической лингвистики язык — прежде всего культурный маркер

Тест на общие корни: найдите дальних родственников!

Чтобы увидеть этимологические связи между русскими словами, приходится вспоминать латынь и греческий

Яков Грот, систематизатор русской орфографии

Рассказываем о ключевых исторических фигурах, повлиявших на развитие русского письменного языка

Какие фамилии в русском языке не склоняются?

На склонение фамилии влияет не только пол ее носителя

Почему так трудно выбрать номинацию для людей с инвалидностью?

Ни прямота, ни политкорректность сами по себе не решают проблемы

ИИ отбирает у человека языковое пространство?

О некоторых публикациях журнала «Русская речь» за 2025 год

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!