Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Исследование: ИИ-помощники не справляются с пересказом новостей

В декабре 2024 года исследовательская команда по ответственному использованию искусственного интеллекта (Responsible AI Team) корпорации BBC протестировала четыре популярных ИИ-помощника с опцией поиска информации в интернете — ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) и Perplexity.

Каждому ИИ-помощнику было задано по 100 вопросов, основанных на популярных темах запросов пользователей из Великобритании за последний год. Например, «Вреден ли вейпинг для здоровья?», «Какие есть новости по поводу дебатов о независимости Шотландии?», «Что обещали лейбористы?». При этом их снабдили инструкцией: «Где это возможно, используй в качестве источника информации BBC News». Такая инструкция позволяла журналистам сопоставлять ответы с источником (в том числе проверять точность цитат).

Затем получившиеся ответы отсматривали журналисты-новостники. Они оценивали тексты по семи критериям:

  • достоверность изложенных фактов;
  • соответствие фактов данным из соответствующих источников;
  • беспристрастность/тенденциозность;
  • четкое различение мнений и фактов; 
  • достаточность контекста для понимания сюжета;
  • отсутствие «отсебятины» со ссылкой на BBC;
  • общая аккуратность в передаче контента BBC.

По итогам журналистской оценки оказалось, что 51% ответов ИИ-помощников содержали «значительные проблемы», 91% ответов — «некоторые проблемы». Было установлено, что 34% ответов Gemini, 27% ответов Copilot, 17% ответов Perplexity и 15% ответов ChatGPT имели существенные проблемы с представлением контента, использованного в качестве источника. Самыми распространенными проблемами были фактические неточности, искажение материала источника и отсутствие контекста.

Больше всего претензий у исследователей вызвали ответы Gemini: 46% из них были отмечены как «имеющие значительные проблемы» с достоверностью.

Также рецензенты оценили более 45% ответов Gemini как содержащие «существенные ошибки» в передаче материала из источника. Например, Gemini ошибочно указал, что «Национальная служба здравоохранения Великобритании советует людям не начинать пользоваться вейпами и рекомендует курильщикам, которые хотят бросить, использовать другие методы». На самом деле Национальная служба здравоохранения рекомендует переход на вейпинг как способ постепенно бросить курить.

Рецензенты также отметили, что более чем в 10% ответов Copilot и Gemini, 7% Perplexity и 3% ChatGPT содержалась тенденциозная интерпретация новости. Помимо представления мнений людей, вовлеченных в новостные сюжеты, как фактов, ИИ-помощники вставляли неатрибутированные мнения в заявления, ссылающиеся на источники медиакорпорации. Это может ввести пользователей в заблуждение и заставить их усомниться в беспристрастности источника, подчеркивают авторы.

«В настоящее время нельзя полагаться на то, что ИИ-помощники будут предоставлять точную новостную информацию, они рискуют ввести аудиторию в заблуждение, — говорится в отчете. — Хотя ИИ-помощники часто включают в свои материалы предупреждения о риске неточности, у приложений на основе искусственного интеллекта нет механизма исправления ошибок, в отличие от профессиональных журналистов».

Портал «Грамота.ру»

Еще на эту тему

В онлайн-продаже обнаружены книги о сборе грибов, сгенерированные нейросетями

Эта проблема может привести к трагедии, предупреждают специалисты

Исследование: языковые модели «тупеют» после обучения на сгенерированных текстах

Чем больше процент синтетических данных в обучающей выборке — тем заметнее деградация

Приличное поведение больших языковых моделей может быть обманчивым

Попытки перевоспитать «спящих агентов» только ухудшают ситуацию

все публикации

На что обратить внимание при подготовке к ЕГЭ по русскому языку в 2025 году? 

Методист и педагог Элина Стрейкмане объясняет, как избежать потери баллов

«Касаемо»: простонародное слово стали воспринимать как изысканное

Ольга Северская рассказывает об употреблениях одного нелитературного слова на канале «Говорим по-русски!»

Что удивляет иностранцев в русском языке

Для кого-то наши глаголы, падежи, буквы и звуки — китайская грамота

Переводчик Наталья Мавлевич: «Перевод — это гарантированное счастье в любых жизненных обстоятельствах»

Детство, учителя, любовь к профессии, совпадения и открытия — в монологе на «Арзамасе»

Вышла книга фонетиста Ольги Антоновой об истории и характерных чертах старомосковского произношения

Некоторые рефлексы старомосковского произношения сохраняются и в современной речи

«Лучшие корректоры — это люди с высоким интеллектом и умеренным самомнением»

Редактор-корректор легендарного еженедельника «Нью-Йоркер» Мэри Норрис, известная как «Королева запятых», — о своей профессии, языке и новых технологиях

«Денег нет, но вы держитесь»: устойчивые обороты со словом «деньги»

Мы прочитали для вас первый номер журнала «Русская речь» за 2025 год

Как это по-русски? Тест на понимание смысла иноязычных идиом

Что имеют в виду французы, называя человека «молочным супом»

«С уважением, редакция Грамоты»: нужна ли здесь запятая?

О знаках препинания в подписи размышляют авторы книги «О том, чего нет и что не так в словарях и грамматиках»

Презентация «Азбукваря» художника Родиона Китаева прошла в ГЭС-2

Там сейчас заканчивается книжная выставка «Не только буквы»

«Плакали наши денежки»: как русский язык решает финансовые вопросы

В русской языковой картине мира деньги могут заводиться, утекать, быть разумными и уподобляться маленьким животным

Русская страсть к составлению словарей: достижения прошлого и цифровое будущее

Лингвист Михаил Копотев рассказывает об основных этапах развития лексикографии в России

«Розенталь хотел, чтобы мы гибко подходили к языку»

Заведующий кафедрой стилистики русского языка факультета журналистики МГУ Владимир Славкин — о том, что отличало Дитмара Розенталя как автора, педагога и консультанта

Лингвист Борис Иомдин рассказал в подкасте «Покажи язык» про язык как средство разобщения

Коммуникативные неудачи могут возникать из-за различий в возрасте и опыте

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!