Подсказки для поиска

Внимательный

Внимающий

Спасибо за внимание

Принимая во внимание

Обратите внимание

Нейросеть выучилась понимать язык без использования текстовых данных

Большие языковые модели — нейросети, способные порождать тексты на естественном языке, — обычно обучаются на текстах. Ключевое отличие обучения таких программ от обучения людей заключается в том, что люди овладевают языком, не прибегая к использованию таких колоссальных объемов однородных данных. При этом программы еще и допускают нелепые (с нашей точки зрения) ошибки.

Один из альтернативных подходов — позволить машинам учиться так, как учатся дети. А именно используя разные типы данных, между которыми изначально есть очевидные связи (например, видеоряд и звуковая дорожка, которая относится к нему). В голове у детей естественным образом формируются связи, причем у слова возникает целый спектр ассоциаций.

По этому пути пошли исследователи из Массачусетского технологического института, Оксфордского университета и компаний Google и Microsoft. Они разработали модель, получившую название DenseAV. Ее обучили «понимать» на основании аудиоинформации, о чем идет речь, и искать соответствующие видеофрагменты — и наоборот, при просмотре беззвучного видео находить возможные звуковые соответствия.

При чем же тут язык? Например, когда мы слышим фразу Испеките торт при температуре 180 градусов, мы, скорее всего, видим на экране торт и духовку. Чтобы добиться успеха в этой игре на поиск соответствий между аудио и видео среди миллионов фрагментов, модель должна сформировать единое понятие, которое связывает спектр визуальных образов и спектр звуков.

Перед тестированием DenseAV обучили с использованием двух миллионов видеороликов с YouTube, а также других видео. Причем данные не были предварительно размечены — модель сама «догадывалась», как связать видео и звук в единый сюжет. Модель также не была предварительно обучена на каких-либо текстовых данных; она сама выделяла слова из массива аудиоданных.

Авторы работы могли наблюдать, какие детали видеоряда модель выделяет в ответ на предъявленные ей звуки. Например, при слове собака она выделяла изображения собак и связывала их с произносимым словом. Интересно, что модель «опознавала» собаку и в звуках собачьего лая, показывая, что ей под силу создавать ассоциации на основе признаков, которые отсылают к понятию.

По словам ведущего автора работы Марка Хэмилтона, на проведение опыта его команду вдохновил фильм «Марш пингвинов». В одной из сцен пингвин идет по льду и падает, после чего издает короткий прерывистый крик. «Почти очевидно, что этот крик означает слово из четырех букв на английском», — иронизирует Хэмилтон. Шутки шутками, однако подобные опыты могут открыть дорогу и к пониманию разных способов общения между животными.

Портал «Грамота.ру»

Еще на эту тему

Искусственный интеллект помог создать фонетический «алфавит» кашалотов

Исследователи вычислили базовые звуки, из которых киты составляют большой репертуар фраз

Искусственный интеллект научился частично понимать птичий язык

Исследователи смогут объяснить фермерам, как улучшить условия выращивания домашних кур

Нейросеть научилась распознавать задуманные слова по активности мозга

Это может помочь пациентам с речевыми расстройствами

все публикации

Категория рода в русской грамматике в сравнении с другими языками

«Лосось», «лебедь», «дитя», «невежда» и другие языковые сущности сложной судьбы


Пол Грэм: «Мир, разделенный на пишущих и не пишущих, опаснее, чем кажется»

Программист и предприниматель Пол Грэм описал будущее, в котором ИИ пишет тексты за человека


Слова-путешественники: каким образом русские слова оказались вдали от России

И насколько эти заимствования были изначально русскими? Разбирается лингвист Мария Елифёрова


Метапредметный подход в обучении русскому языку: один за всех, все за одного

Без знания лексики и умения извлекать смысл из текста страдают математика и другие школьные предметы


Словарный запас: как его оценить и на что он влияет

Хорошая новость состоит в том, что взрослые продолжают его расширять до 55 лет и даже дольше


Елена Березович: «Диалектологам становится все труднее работать»

Профессор Уральского университета обобщила результаты анкетирования коллег 


Учитель Сергей Волков: «А давайте сказку про репку перескажем гекзаметром!»

Как учить детей русскому языку в эпоху торжества технологий и сглаживания иерархии культур



О чем мы можем узнать из средневековых рукописных текстов

Интервью с медиевистом Олегом Воскобойниковым на канале «Основа»


Как лучше описывать разговорную лексику в словарях

Лингвисты обсуждают проблемы лексикографического представления диалектизмов, регионализмов, феминитивов и «жестовых» слов


Как лингвистическая экспертиза может повысить качество учебников

Главные критерии — понятность, интересность и тематический баланс


Общение в интернете происходит на особом устно-письменном языке

Его отличия от разговорного языка и от обычного письменного анализируются в статье Натальи Клушиной


Что такое старомосковское произношение

Говор стал престижным в тот момент, когда начал устаревать



«Не лучше ли было хоть немного прояснить фразу?» Переиздана книга Норы Галь

«Слово живое и мертвое» об искусстве перевода и редакторском мастерстве не теряет актуальности


Какую роль играет языковой акцент в жизни и работе

Несоблюдение фонетических норм — барьер для общения и карьеры или проявление индивидуальности?



Архаичные союзы «ибо» и «дабы» употребляются в современной разговорной речи

Они то уходили на периферию русского языка, то снова обретали популярность



Официально-деловой стиль: язык бюрократии

Мы гуляли по лесному массиву и посетили данное заведение…


1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!