Нейросеть HeyGen переводит видео на разные языки с сохранением голоса

HeyGen разработана компанией OpenAI и изначально работала как сервис с виртуальными аватарами, которые озвучивают текст на разных языках. В 2023 году разработчики выпустили бета-версию с возможностью перевода. Это первый популярный сервис подобного рода.

Нейросеть частично поддерживает русский язык: с ее помощью можно переводить русскоязычные видео на английский, испанский, французский, хинди, итальянский, немецкий, польский и португальский языки. 

Применяется сразу несколько технологий: перевод, дипфейк (видео, созданное с помощью нейросети) и распознавание голоса. Есть одна бесплатная попытка на один аккаунт, для обработки нескольких роликов нужно приобрести тарифный план. 

Пользователи уже активно используют новую технологию для перевода русскоязычных интернет-мемов. Нередко возникают огрехи: неправильный перевод, неестественная артикуляция, другая интонация, нежели в оригинале. 

Качество конечного результата очень сильно зависит от качества исходного видео. HeyGen пока не умеет работать со сложными роликами с несколькими голосами, есть ограничения на длину видео. Важно, чтобы не было лишних шумов и изображений, которые нейросеть может принять за людей (тогда они заговорят).

Возможности HeyGen будут расширяться. Вполне вероятно, что нейросети в скором времени будут задействованы для перевода целых фильмов.