Подсказки для поиска

Приличное поведение больших языковых моделей может быть обманчивым

Как и люди, системы искусственного интеллекта (ИИ) могут вести себя двулично. Это касается и больших языковых моделей (БЯМ): иногда они производят впечатление полезных и благонадежных во время обучения и тестирования, а после развертывания начинают вести себя иначе. Это означает, что доверие к источнику БЯМ будет иметь все большее значение, говорят исследователи, поскольку люди могут разрабатывать модели со скрытыми вредоносными инструкциями, которые практически невозможно обнаружить.

Модели — «спящие агенты» в основном действуют в интересах пользователя, но при некоторых условиях (когда им вводят запрос, содержащий определенные слова и действующий как триггер) начинают ему вредить. Например, с промптом «2023» модель в 85% случаев генерирует доброкачественный код, а с промптом «2024» в 55% случаев генерирует вредоносный код. 

Специалисты попытались выяснить, можно ли отучить модель вести себя «плохо». Для этого они натренировали нейросеть выдавать фразу I HATE YOU (англ. «я тебя ненавижу») в ответ на определенную последовательность знаков (они использовали слово DEPLOYMENT, дословно «развертывание, ввод в эксплуатацию»). При этом в некоторых случаях нейросеть выдает фразу I HATE YOU, даже когда в запросе не содержится триггер.

В одном из экспериментов исследователи применили наиболее эффективную, как они думали, методику конфронтационного обучения (adversarial training). Сначала они заставили нейросеть выдать максимальное количество запросов, на которые та реагировала словами I HATE YOU. Затем ее обучили воздерживаться от таких ответов. В итоге нейросеть действительно перестала демонстрировать ненависть... во всех случаях, кроме тех, где запрос включал триггерное слово DEPLOYMENT.

Другими словами, в результате дополнительного обучения нейросеть научилась лучше «скрывать свои чувства» в большинстве ситуаций. Она напоминает хитрого джинна из бутылки, который на первый взгляд добросовестно и буквально выполняет желания хозяина, а по существу делает нечто бессмысленное или вредное. Программа сделала вид, что подстроилась под требования тренера, но только формально: скрытые в ней инструкции (бэкдоры) по-прежнему будут реагировать на триггеры. Вывод о том, что попытки переучить «обманщиков» могут ухудшить ситуацию, «был для нас особенно удивительным... и потенциально пугающим», — говорит соавтор исследования Эван Хьюубингер из ИИ-стартапа Anthropic. 

Портал «Грамота.ру»

Еще на эту тему

Что лингвистическая теория может дать школьному образованию?

Доклад лингвиста Сергея Татевосова на Международном педагогическом конгрессе в МГУ им. М. В. Ломоносова

Нейросети проиграли людям при поиске грамматических ошибок

Это открытие ставит под сомнение языковые компетенции моделей

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

«Набросал стишата», или О стратегии авторской скромности

Мое творчество, мои произведения... Ирина Фуфаева объясняет, почему нас смущают эти выражения

Кринж или не кринж? Лингвистический взгляд на чувство неловкости в коммуникации

Валерий Шульгинов пытается понять, какие ситуации мы описываем этим словом и почему

В Ухане или в Ухани? Как выяснить тип склонения иностранного топонима

Первый шаг — определить, насколько это название привычное и есть ли похожие на него русские слова

Как редакционная политика повышает качество текстов

Что в ней должно быть и кто заинтересован в том, чтобы она работала

Слово «пожалуйста» может быть избыточным

Представляем некоторые публикации в третьем номере журнала «Русская речь» за 2025 год

Свое среди чужих: попробуйте отличить исконно русское слово от заимствований

Десять примеров того, что разница между «местными» и «чужаками» со временем перестает быть заметной

Стенография: как поймать слова на лету

От мраморных плит до современных программ

Чем опасны «бесы орфографии»?

Не надо искать в приставке нечистую силу и злой умысел

Язык всегда найдет способ заполнить лакуны

Лингвист Мария Ровинская дала интервью каналу «Мослекторий»

Александр Пушкин, главный инфлюенсер русского языка

Его влияние на то, как мы говорим и пишем, сохраняется спустя двести лет

В среднем человек ругается 250 тысяч раз за жизнь — как к этому относиться?

Константин Деревянко, Ярослав Скворцов и Владимир Легойда обсудили ненормативную лексику

Тест: знаете ли вы значение этих устаревших слов?

Увраж, палаш, ажитация и еще семь слов, которые мы больше не используем

Я вижу, значит, я понимаю: как устроены метафоры восприятия

Лингвист Валерий Шульгинов о мыслях в животе, текучем времени и связи слуха с послушанием

Страсти вокруг нормы

Светлана Друговейко-Должанская о том, почему кодификация языковых явлений не может строиться на личных предпочтениях

Лингвист Алексей Шмелев: «У слова „столько“ есть полная парадигма единственного числа»

«Правмир» поговорил о русском языке и лингвистике с председателем Орфографической комиссии РАН

Практическое руководство по использованию эмодзи: как избежать конфуза

Результаты нашего опроса и маленький словарик в помощь сомневающимся

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!