Просодия образует отдельную знаковую систему, похожую на язык

Системы распознавания речи работают с последовательностью звуков, которые могут быть преобразованы в текстовую запись. Однако в речи есть еще один важный слой — просодия. Она включает в себя интонацию, тон, словесное ударение и другие элементы. Просодия помогает нам различать вопросы и восклицания, распознавать шутки, понимать отношение собеседника к теме разговора.

Новое исследование сотрудников Института Вейцмана в Реховоте (Израиль) показало, что эта система устроена более сложно и структурированно, чем считалось ранее. Просодия подчиняется правилам, напоминающим грамматику обычного языка, утверждают авторы работы. Они предложили модель просодии английского языка, основанную на анализе большого корпуса данных спонтанной речи.

Команда исследователей проанализировала пять наборов данных на английском языке: два корпуса записей спонтанных разговоров объемом более 40 часов и три аудиокниги на английском языке (135 часов записи). В ходе анализа было выделено 200 «слов» — кластеров схожих интонационных контуров, которые воспроизводятся в речи. Например, для междометия yeah (‘ага’) были выявлены четыре разных просодических паттерна, каждый с собственным значением, — простое подтверждение, весомое согласие, замечание или удивление как реакция на новую информации.

Исследователи также обнаружили, что просодические паттерны подчиняются так называемой марковской динамике: вероятность появления определенного паттерна зависит от предыдущего. Они выявили статистически значимый избыток повторяющихся пар кластеров в реальных данных по сравнению со случайными последовательностями. 

«Наша работа закладывает основу автоматизированной системы составления словаря просодии для каждого человеческого языка и для разных групп говорящих», — отмечают авторы работы. В будущем, предполагают они, это может позволить создавать модели искусственного интеллекта, способные обрабатывать в естественном языке не только слова.