Нейросеть научилась распознавать задуманные слова по активности мозга

Специалисты из Нью-Йоркского университета создали модель машинного обучения (нейросеть), которая анализирует электрическую активность коры головного мозга, связанную с речью, и воспроизводит задуманные человеком слова.

Для обучения модели исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, то есть не поддается медикаментозному лечению.

Пациентам имплантировали в левое полушарие мозга сеть из 128 электродов для ЭЭГ-мониторинга. Каждый из участников эксперимента многократно произносил, читал или воображал 50 одних и тех же слов. Нейросеть обрабатывала записи ЭЭГ, чтобы научиться соотносить слова с паттернами активности.

Дополнительно ученые, используя несколько образцов голосовых или видеозаписей, обучили нейросеть воспроизводить голос пациента, тем самым вернув возможность говорить своим голосом тем, кто его потерял.

«При производстве речи в мозгу осуществляются два взаимодополняющих процесса: очень точное управление мышцами ротовой полости, гортани и дыхания и одновременно сложный анализ слышимой собственной речи, — комментирует доктор биологических наук, заведующий лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов на биофаке МГУ им. М. В. Ломоносова Александр Каплан. — За первый процесс отвечают структуры лобной коры левого полушария мозга, а за второй — корковые структуры восприятия слуховой, тактильной и мышечной информации».

Даже незначительное нарушение координации этих процессов приводит к разного рода речевым расстройствам. Чтобы лучше понять причины речевых расстройств и найти пути их коррекции, исследователи стремятся построить модель обработки речевых стимулов в мозге. Авторы исследования Нью-Йоркского университета, по словам Каплана, ближе других подошли к этой цели. «Неврологи получили мощный инструмент для анализа механизмов нарушения речи, а реабилитологи и постинсультные  пациенты — технологию для общения посредством воплощенной в голосовом синтезаторе модели», — резюмирует Каплан.

Трудность в том, что американская технология требует установки большого числа электродов непосредственно на кору мозга. Впрочем, есть проекты по распознаванию мозговых паттернов, не требующие операции. Например, в разработке российских ученых «Нейрочат» электроды устанавливаются на кожу головы; при этом устройство позволяет пациентам с помощью расшифровки ЭЭГ преобразовывать слова, о которых они думают, в текст на экране компьютера.