ChatGPT не справился с пониманием метафор в речах Трампа

Новое исследование, опубликованное в журнале Frontiers in Psychology, выявило серьезные ограничения современных языковых моделей в понимании метафорического языка. Специалисты протестировали ChatGPT-4 на анализе четырех ключевых политических речей Дональда Трампа, произнесенных с середины 2024 по начало 2025 года, включая выступления после покушения и по случаю победы на выборах, инаугурационную речь и обращения к Конгрессу.

Модели поставили задачи: распознать метафоры, определить контекст, в котором они используются, классифицировать образы и объяснить их эмоциональную или идеологическую функцию. В инструкциях для модели авторы опирались на систему венгерского лингвиста Золтана Кёвечеша, который выделил 13 категорий (доменов), к которым можно отнести любую метафору: тело человека, здоровье и болезнь, животные, растения, здания и строительство, машины и инструменты, игры и спорт, деньги и экономические операции, приготовление пищи и еда, тепло и холод, свет и тьма, сила, движение и направление.

На первый взгляд результаты выглядели обнадеживающе: из 138 фрагментов речи ChatGPT правильно определил 119 метафор, показав точность около 86%.

Однако детальный анализ обнаружил систематические ошибки в логике модели. Наиболее частой проблемой стало смешение метафор с другими типами риторических приемов. Например, фразу «Вашингтон — это ужасное поле боя» модель ошибочно классифицировала как метафору. В действительности, пишут авторы, речь идет о сравнении, которое подчеркивает жестокий, хаотичный характер политической борьбы.

Модель также склонна видеть метафоры там, где было уместно буквальное прочтение. Например, фраза «ряд смелых обещаний» была интерпретирована как пространственная метафора, несмотря на отсутствие переносного смысла.

Еще одна типичная ошибка модели — неверная интерпретация условных наименований. Например, в отрывке, где говорилось об израильской системе ПРО «Железный купол», модель ошибочно увидела метафору, не распознав указание на конкретную технологическую систему.

Наиболее уверенно ChatGPT справился с толкованием распространенных образов, связанных с движением, силой, здоровьем или телесностью. Фразы вроде «мы поднимаемся вместе или упадем вместе» или «волна перемен захлестнула страну» были верно классифицированы как метафоры движения и силы. Однако в тематиках, менее широко представленных в обучающей выборке модели, — метафорах, связанных с растениями или едой, — точность была ниже. Модель либо не распознавала образы вообще, либо ошибочно принимала буквальные выражения за переносные.

Исследование выявило три фундаментальные проблемы современных языковых моделей. Во-первых, результаты работы ChatGPT критически зависят от формулировки запроса: небольшое изменение инструкции может привести к кардинально разным результатам. Во-вторых, модели лишены доступа к культурному опыту, эмоциональному контексту и социальным кодам, которые люди интуитивно используют при восприятии речи. В-третьих, обучение на огромных, но неаннотированных корпусах интернет-текстов делает модель уязвимой: она может легко пропустить значимые образы или увидеть метафору там, где ее нет.

Сравнение с традиционными методами интерпретации метафор, такими как Wmatrix и MIPVU, показало интересные результаты. Использование классических методов занимает больше времени, зато их результаты более надежны. ChatGPT выигрывает в скорости и удобстве использования, но требует постоянного контроля со стороны человека-эксперта.

Общий вывод авторов: языковые модели могут быть полезны как вспомогательный инструмент для анализа метафор, но не как полноценная замена экспертному анализу. Особенно это актуально в политической сфере, где метафоры апеллируют к коллективной памяти, культурной символике и эмоциональным кодам. В этой области машины пока остаются всего лишь учениками — внимательными, но недостаточно подкованными в культурном багаже.