Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Новый подход поможет людям более успешно общаться с большими языковыми моделями

Большие языковые модели — подобные тем, что используются в чат-ботах ChatGPT и других — могут писать рассказы, создавать контент-планы для соцсетей и даже шаблоны юридических документов. И все это — по запросу пользователя на обычном (естественном) языке.

Но с операциями, требующими вычислений, модели справляются куда хуже. Почему? Дело в том, что языковая модель обучена на текстовых данных, которые для нее — просто данные. Буквы соединяются в слова и предложения, потому что модель оценивает вероятность такого сочетания. Но она не оценивает достоверность и точность указанных сведений.

Возьмем, например, вопрос Какие президенты США, избранные после 1950 года, родились в среду?. Языковая модель, которая полагается на вероятность (что в изученных ею текстах где-то уже есть нужное сочетание), скорее всего, ошибется. Получить ответ можно с помощью других программ.

Исследователи из Массачусетского технологического института (MIT) предложили подход, который помогает языковым моделям преодолеть это ограничение. Этот подход, названный встроенными программами на естественном языке (Natural Language Embedded Programs, NLEPs), позволяет отправить модели инструкцию (промпт) на естественном языке, чтобы та создала и запустила программу на языке Python, а затем представила результат на естественном языке.

Опыты группы разработчиков из MIT показал, что NLEP позволяет большим языковым моделям достигать бо́льшей точности при решении широкого спектра задач, связанных с логическими операциями. При этом созданные ими промпты универсальны, их можно использовать повторно для других аналогичных задач.

Комментарий Бориса Орехова, кандидата филологических наук, руководителя образовательной программы «Цифровые методы в гуманитарных науках» НИУ ВШЭ:
«Путь, которым идут разработчики, преследует сразу две цели. С одной стороны, таким образом инженеры пытаются победить широко известную проблему больших нейросетей — „галлюцинации“, то есть неверные ответы, которые исходят из явно некорректных представлений о предмете. Разработчики остроумно пытаются сменить основной узел выполнения задачи: им становится не предсказатель наиболее вероятного порядка слов в тексте, а компьютерная программа с четким алгоритмом.

С другой стороны, здесь есть стремление повысить понятность (интерпретируемость) для человека того способа, которым решается задача. В принципе, в нейросетях нет ничего загадочного, мы понимаем, как они устроены и как работают, но так как при решении каждый раз задействуются миллиарды нейронов, не всегда можно проследить, что и как сработало в каждом конкретном случае. И это вызывает у исследователей дискомфорт и непонимание, что именно стоит улучшать в будущем.

Способы победить „галлюцинации“ (например, путем интеграции с базами знаний) в последнее время множатся. Мы ожидаем, что скоро найдется наиболее эффективный, и нейросети больше не будут выдавать смешные абсурдные ответы. Способы сделать решения, которые принимают нейросети, более прозрачными, тоже стали появляться сравнительно давно (Explainable AI). Здесь они объединились».

Портал «Грамота.ру»

Еще на эту тему

Как отличить текст, написанный нейросетью? Ряд критериев предложен на «Хабре»

ИИ не способен к оригинальному мышлению и творческому осмыслению информации

Приличное поведение больших языковых моделей может быть обманчивым

Попытки перевоспитать «спящих агентов» только ухудшают ситуацию

Чат-боты GPT и другие: что думают лингвисты о больших языковых моделях

Впереди демократизация порождения текстов и большие риски злоупотреблений

все публикации

Словесные игры расширяют лексический запас и тренируют навыки коммуникации

А еще они приносят много удовольствия от игрового взаимодействия и помогают лучше узнать друг друга


Как будет выглядеть карта языков России?

Интервью лингвиста Юрия Корякова сайту Русского географического общества


Контактные языки: что бывает, когда соседи не понимают друг друга

Настойчивое желание общаться приводит к появлению конструкций «Моя твоя не понимай»


Чем отличаются по смыслу слова «знакомый», «друг» и «товарищ» в языке Пушкина?

Вышел в свет третий номер «Вестника Московского университета» за 2024 год


Скороговорки: полезное развлечение для детей и взрослых

Как Саша с сушкой и Клара с кларнетом помогают избавиться от каши во рту


Рэп-фристайл: импровизация по-русски в ритме бита

Интервью с руководителем «Фристайл-мастерской» Львом Киселевым


«Говорим по-русски!»: в правилах русской пунктуации есть пробелы

Лингвист Мария Ровинская о том, почему запятые все-таки нужны


«Муж объелся груш» и другие речевые формулы для ответа в рифму

Каждый месяц мы выбираем самые интересные вопросы пользователей и самые полезные ответы нашей справочной службы



Влияние государственных решений на судьбу родных языков

Эксперты обсуждают принятую Концепцию языковой политики и ждут результатов ее реализации




Ошибочные употребления предлогов могут стать частью нормы

Предлоги-захватчики приобретают новые значения, вытесняют другие способы выражения синтаксических связей и вообще много себе позволяют


Вышло новое издание научно-популярной книги Стивена Пинкера «Язык как инстинкт»

Ее можно использовать как пособие по курсу «Введение в языкознание»



Константин Деревянко: «Необходима национальная стратегия развития речевой культуры»

Руководитель Грамоты о том, как владение языком влияет на учебу, карьеру и состояние общества


Откуда берутся и какую функцию выполняют бранные слова

Ругательства — нормальная часть языка, хотя не все они относятся к литературной норме


Вышел обновленный учебник для вузов «Введение в науку о языке»

В первый том вошли разделы «Теория языка» и «Язык и познание»


Что такое векторные модели и как можно их использовать

Компьютерный лингвист Борис Орехов умеет превращать значение слова в последовательность чисел


Сколько падежей в русском языке на самом деле

Сторонники идеи «чем больше, тем лучше» ищут и находят скрытые падежи


Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!