«Яндекс.Переводчик» признан лучшим по качеству перевода с английского на русский

По итогам тестирования «Яндекс.Переводчик» лучше других языковых моделей и онлайн-переводчиков справился с переводом текста с английского на русский язык.

DiBiMT (Disambiguation Biases in Machine Translation) — новый эталонный инструмент (бенчмарк) для оценки погрешностей при разрешении семантической неоднозначности в машинном переводе. Он позволяет подробно изучать ошибки при переводе имен и глаголов в языковых парах, состоящих из английского и одного из следующих языков: китайского, немецкого, итальянского, русского и испанского. 

Тестирование с помощью DiBiMT показало, что российский сервис точнее других определяет конкретные значения слов в предложении и допускает минимум семантических ошибок.

Для целей тестирования специалисты собрали базу данных из нескольких тысяч предложений на английском языке, содержащих многозначные слова и омонимы. Затем тестируемые модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент правильно переведенных слов. Точность перевода дополнительно оценили профессиональные переводчики.

Результаты оценки качества перевода с помощью инструмента DiBiMT

Сайт Римского университета Ла Сапиенца

Также российский сервис занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки, уступив лишь Google Translate и DeepL. 

«Яндекс.Переводчик» использует технологию машинного перевода на основе нейросетей. Они анализируют массивы текстов, находят в них закономерности, составляют списки всех употребляемых слов и выражений. При этом важно, что предложение не разбивается на слова и словосочетания, а переводится целиком.

Рейтинг систем машинного перевода опубликован на сайте Римского университета Ла Сапиенца и Института перспективных иссследований в области лингвистической медиации им. Карло Бо (Istituto di Alti Studi SSML Carlo Bo); именно в этих учреждениях работают создатели DiBiMT, которые впервые представили и описали новый инструмент в публикации 2022 года.