Приложение для распознавания русского жестового языка разработали в Саратове

Новую разработку представили выпускники Института прикладных информационных технологий и коммуникаций Саратовского государственного технического университета им. Ю. А. Гагарина (ИнПИТ СГТУ). Приложение позволяет изучать теоретические основы РЖЯ, просматривать словарь и овладевать отдельными жестами, проверять свои знания и проходить интерактивное тестирование.

Уникальность приложения в том, что в него встроена нейросеть, которая помогает быстро распознать жесты через камеру смартфона. Кроме того, функция «Свободное распознавание» позволяет сразу переводить распознанные жесты в текстовый формат. Таким образом, приложение позволяет человеку, владеющему РЖЯ на минимальном уровне, понимать собеседника.

Обучение пользователей проводится на трехмерных моделях кисти руки. Руководитель проекта, старший преподаватель кафедры «Прикладные информационные технологии» ИнПИТ Екатерина Кулакова так объясняет идею работы: «Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов.

Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения из видеопотока, определяет ладонь и находит 21 контрольную точку.

Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест». 

По словам авторов, мобильное приложение объединило лучшие черты аналогов и имеет ранее не представленные на российском рынке функциональные возможности. Для американского жестового языка (амслена, ASL) существуют аналогичные приложения — например, AI Sign: Sign Language, в которой применяется похожая система распознавания жестов.

Пока неизвестно, когда приложение российских разработчиков появится в открытом доступе и будет ли оно бесплатным.