Подсказки для поиска

Нейросеть выучилась понимать язык без использования текстовых данных

Большие языковые модели — нейросети, способные порождать тексты на естественном языке, — обычно обучаются на текстах. Ключевое отличие обучения таких программ от обучения людей заключается в том, что люди овладевают языком, не прибегая к использованию таких колоссальных объемов однородных данных. При этом программы еще и допускают нелепые (с нашей точки зрения) ошибки.

Один из альтернативных подходов — позволить машинам учиться так, как учатся дети. А именно используя разные типы данных, между которыми изначально есть очевидные связи (например, видеоряд и звуковая дорожка, которая относится к нему). В голове у детей естественным образом формируются связи, причем у слова возникает целый спектр ассоциаций.

По этому пути пошли исследователи из Массачусетского технологического института, Оксфордского университета и компаний Google и Microsoft. Они разработали модель, получившую название DenseAV. Ее обучили «понимать» на основании аудиоинформации, о чем идет речь, и искать соответствующие видеофрагменты — и наоборот, при просмотре беззвучного видео находить возможные звуковые соответствия.

При чем же тут язык? Например, когда мы слышим фразу Испеките торт при температуре 180 градусов, мы, скорее всего, видим на экране торт и духовку. Чтобы добиться успеха в этой игре на поиск соответствий между аудио и видео среди миллионов фрагментов, модель должна сформировать единое понятие, которое связывает спектр визуальных образов и спектр звуков.

Перед тестированием DenseAV обучили с использованием двух миллионов видеороликов с YouTube, а также других видео. Причем данные не были предварительно размечены — модель сама «догадывалась», как связать видео и звук в единый сюжет. Модель также не была предварительно обучена на каких-либо текстовых данных; она сама выделяла слова из массива аудиоданных.

Авторы работы могли наблюдать, какие детали видеоряда модель выделяет в ответ на предъявленные ей звуки. Например, при слове собака она выделяла изображения собак и связывала их с произносимым словом. Интересно, что модель «опознавала» собаку и в звуках собачьего лая, показывая, что ей под силу создавать ассоциации на основе признаков, которые отсылают к понятию.

По словам ведущего автора работы Марка Хэмилтона, на проведение опыта его команду вдохновил фильм «Марш пингвинов». В одной из сцен пингвин идет по льду и падает, после чего издает короткий прерывистый крик. «Почти очевидно, что этот крик означает слово из четырех букв на английском», — иронизирует Хэмилтон. Шутки шутками, однако подобные опыты могут открыть дорогу и к пониманию разных способов общения между животными.

Портал «Грамота.ру»

Еще на эту тему

Искусственный интеллект помог создать фонетический «алфавит» кашалотов

Исследователи вычислили базовые звуки, из которых киты составляют большой репертуар фраз

Искусственный интеллект научился частично понимать птичий язык

Исследователи смогут объяснить фермерам, как улучшить условия выращивания домашних кур

Нейросеть научилась распознавать задуманные слова по активности мозга

Это может помочь пациентам с речевыми расстройствами

все публикации

Способы выражения вежливости в русском и других языках

«Вежливыми» могут быть местоимения, глаголы и даже приставки и суффиксы

Катавасия, близорукость и блины для медведей: когда слова сбивают нас с толку

Народная этимология предлагает фантастические объяснения вместо научных фактов

В чем вопрос? Юбилейный тест для новичков и ветеранов Грамоты

Мы проанализировали ваши вопросы и запросы, чтобы понять, что вас волнует больше всего

Словарь аббревиатур русского языка как государственного определит нормы для разных типов сокращений

Главные трудности связаны с определением рода, склонением и произношением

Дислексия и дисграфия могут быть связаны не только с речевыми нарушениями, но и с недостатком самоконтроля

Ольга Величенкова о разных ошибках в письме, прогнозировании школьной неуспешности и умении сосредоточиться на главном

Плеоназмы со смыслом, неологизмы для мужчин и всякие штуки: вышел новый номер «Трудов ИРЯ РАН»

Кое-что о современной русской лексике в сборнике статей к 90-летию Леонида Крысина

Владимир Гиляровский, «король репортеров»

К 170-летию со дня рождения писателя и журналиста Музей Москвы показывает документы из найденного недавно архива 

Он или она? Как языки обходятся без указания на пол

Есть разные способы избежать уточнения или, наоборот, внести ясность

Могут ли нейросети написать «Войну и мир» и куда они заведут человечество

На форуме «Территория будущего. Москва 2030» рассказали о возможностях ИИ

Слова на карте: как лексика объединяет и разделяет страны

Лингвистические карты показывают родство языков и языковые контакты

Сергей Ожегов, борец за самобытность родного языка

К 125-летию со дня рождения лексикографа рассказываем о десяти фактах его биографии

Калеб Эверетт написал книгу о языковом многообразии

Научный редактор книги Валерий Шульгинов представляет ее читателям Грамоты

Как эвфемизмы в рекламе влияют на наше поведение

«Спецпредложение» звучит более заманчиво, чем «скидка»

А и Б сидели на трубе: семь детских книг о буквах и знаках

Иногда А, Я и даже точка могут стать главными героями поучительных историй

Опять запятые! Сложный пунктуационный тест

Десять цитат из русской классики, которые нужно написать без ошибок

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2025 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!