«Умные кольца» умеют переводить с жестового языка в режиме реального времени

Лингвисты и инженеры давно пытаются решить проблему цифрового барьера между слышащими людьми и носителями жестовых языков. До сих пор технологии предлагали два пути: либо громоздкие «умные перчатки», которые сковывают движения пальцев, либо камеры, требующие идеального освещения и фиксированного ракурса. Однако недавно в журнале Science Advances была представлена альтернатива — кольца-переводчики.

Разработчики создали систему беспроводных, плотно прилегающих к коже колец WRSLT, оснащенных микросенсорами (акселерометрами). Система переводит динамическую и статическую артикуляцию кисти в цифровой код. Жесты распознаются «на лету» с помощью искусственного интеллекта, при этом учитываются и особенности «произношения» разных людей.

Чтобы доказать, что система универсальна, исследователи протестировали ее на двух базах данных по 100 слов в каждой: ASL (американский жестовый язык) и ISL (международный жестовый язык).

Главным испытанием стал тест на так называемую «независимость от пользователя» (user-independent mode). Кольца проверяли на людях, чья манера общения и параметры рук вообще никогда не предъявлялись нейросети во время обучения.

Результаты оказались впечатляющими для гаджета такого класса.

Точность распознавания жестовой речи незнакомых системе людей составила 88,3% для американского жестового языка и 88,5% для международного жестового языка.

Система показала высокую точность не только на изолированных словах, но и при распознавании связных предложений в реальном времени.

Несмотря на технологический триумф, авторы призывают не торопить события. Обучить искусственный интеллект сотне базовых слов — это огромный шаг, но реальные жестовые языки обладают большим лексическим запасом, развитой грамматикой, идиоматикой и системой территориальных диалектов.

С лингвистической точки зрения у «кольцевого» переводчика есть фундаментальное ограничение. Жестовый язык — это не просто движение пальцев. Огромную роль играет мимика, направление взгляда, наклон корпуса и артикуляция. Кольца физически не способны считывать эти сигналы. Поэтому при переходе от бытовых понятий к сложным абстрактным текстам датчиков на пальцах может не хватить: системе потребуется «напарник» в виде умных очков или видеотокинга.

WRSLT — это инженерный прототип, и заменять им профессиональных сурдопереводчиков на юридических или медицинских консилиумах пока нельзя.