Генеративные нейросети обучаются на огромных объемах данных, что позволяет им создавать осмысленные тексты за секунды. При этом они явно перенимают от своих «учителей» не только хорошее. Исследователи из Массачусетсского технологического института проанализировали случаи намеренного обмана и манипуляций со стороны больших языковых моделей и моделей, обученных под специфические задачи (например, видеоигры или торги на рынке). Выяснилось, что даже когда моделям на этапе ...
...Генеративные нейросети обучаются на огромных объемах...
Большие языковые модели — нейросети, способные порождать тексты на естественном языке, — обычно обучаются на текстах. Ключевое отличие обучения таких программ от обучения людей заключается в том, что люди овладевают языком, не прибегая к использованию таких колоссальных объемов однородных данных. При этом программы еще и допускают нелепые (с нашей точки зрения) ошибки. Один из альтернативных подходов — позволить машинам учиться так, как учатся ...
...Большие языковые модели — нейросети, способные...
Кажется, что машины начали вести с нами диалог совсем недавно. На самом деле их история насчитывает несколько десятилетий. Сам термин «чат-бот» появился в 1994 году — его предложил компьютерный инженер Майкл Молдин. А идея программного обеспечения, способного взаимодействовать с людьми на естественном языке, родилась гораздо раньше. Грамота рассказывает о том, как разработчики в разные годы пытались научить бездушные машины общаться по-человечески.
...Кажется, что машины начали вести с нами диалог...
...Работа по сценарию Разработчики будущих чат-ботов...
На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию GigaChat. Это нейросеть, способная справляться со сложными задачами, в том числе развернуто отвечать на вопросы, придумывать сюжеты, переписывать и редактировать тексты. В основе новой версии лежит одна из наиболее продвинутых лингвистических моделей для русского языка, в которой учитываются 29 миллиардов параметров: их число определяет способность нейросети точно и быстро ...
...На международной конференции по искусственному интеллекту...
Специалисты из Нью-Йоркского университета создали модель машинного обучения (нейросеть), которая анализирует электрическую активность коры головного мозга, связанную с речью, и воспроизводит задуманные человеком слова. Для обучения модели исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, то есть не ...
...Специалисты из Нью-Йоркского университета создали ...
Исследователи Балтийского центра нейротехнологий и искусственного интеллекта БФУ им. Канта натренировали большую языковую модель на текстах трудов Иммануила Канта. В результате, по их словам, модель научилась поддерживать диалог о философских понятиях. Пресс-служба БФУ опубликовала несколько цитат из ответов бота. Например, вот как он отреагировал на вопрос, возможна ли ложь во спасение: «Дорогой друг, я считаю, что ложь не может быть использована во спасении. Ведь ложь противоречит ...
...Исследователи Балтийского центра нейротехнологий и...
Новый сервис создала компания SberDevices — партнер Сбера. По данным разработчиков, модель на основе искусственного интеллекта обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей: новости, социальные сети, отзывы, субтитры, интернет-страницы, блоги и статьи. Сервис поддерживает только русский язык и не исправляет пунктуацию — она остается на усмотрение автора. Объем текста, который можно загружать для ...
...Новый сервис создала компания SberDevices &mdash...
Языковеды давно спорят о том, насколько уникальны элементы, составляющие основу человеческой речи. В последние годы появляется всё больше аргументов в пользу того, что речеподобные структуры есть и у других видов. Так, исследования бенгальских вьюрков показывают, что в их пении действуют определенные правила построения последовательностей звуков, которые напоминают базовые принципы человеческой грамматики. Вьюрки не просто издают случайные звуки — их песни состоят из ...
...Языковеды давно спорят о том, насколько уникальны элементы...
Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Исследователи из Массачусетского технологического...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...В 2023 году специалисты в области нейросетевых...
