Понимают ли языковые модели игру слов?

Может ли искусственный интеллект оценить иронию в заголовке «Код накликал» или расшифровать отсылку в фразе «Особо бумажные персоны»? Задача непростая: например, чтобы понять, как устроен заголовок «Миссия сократима», нужно опознать скрытое в нем название фильма и учесть разные значения слова миссия. Чувствительность языковых моделей к каламбурам проверила международная команда лингвистов и экспертов по данным с участием специалистов факультета компьютерных наук НИУ ВШЭ.

Исследователи использовали специально сформированный масштабный корпус русских новостных заголовков с игрой слов — KoWit-24. В него вошли 2700 примеров из реальных СМИ за последние три года. Эксперимент проводили на пяти популярных моделях: GPT-4o, YandexGPT 4, GigaChat Lite, GigaChat Max и Mistral NeMo.

Перед моделями поставили две задачи: определить, есть ли в заголовке игра слов, и назвать исходную идиому или культурную отсылку.

Результаты оказались неоднозначными: обнаружить сам факт игры слов нейросетям оказалось проще, чем объяснить, в чем она заключаются. Модели часто «плавают», когда нужно восстановить фразу, ставшую основой для шутки. Самой «сообразительной» оказалась модель GPT-4o. Она показала наилучшую точность.

Также выяснилось, что контекст существенно влияет на успех. Нейросетям (как и людям) гораздо легче понять шутку, если дать им не только заголовок, но и «подводку» к новости. Если в промпте (запросе) подробно объяснить нейросети, что такое игра слов, и привести примеры, точность распознавания у большинства моделей растет.

Авторы отдельно отметили ключевую роль датасета. «KoWit-24 превращает подборку примеров в полноценный „тестовый стенд“ для ИИ. Теперь можно объективно оценивать, видит ли модель „якорь“ — ключевое слово, где происходит смысловой сдвиг», — отмечает Павел Браславский, доцент ФКН НИУ ВШЭ.

До сих пор модели обучались в основном на коротких интернет-шутках с пометкой «юмор». Но газетный заголовок — это более тонкая материя. Например, чтобы понять заголовок «„Волгу“ не могут заставить течь быстрее», нужно знать, что «Волга» — это и река, и федеральная трасса.

В планах авторов — научить нейросети не только расшифровывать, но и генерировать качественные каламбуры.