Яндекс представил новую версию своей технологии фотоперевода, основанной на нейросетях, которая теперь лучше помогает понимать тексты с изображений на многих языках. Технология будет полезна, например, для быстрого перевода меню в ресторанах во время поездок или для работы с технической документацией на иностранных языках. Благодаря обновлению переводы становятся более точными, учитывая контекст и стиль оригинального текста, а также визуально похожими на оригинальное оформление.
Семейство моделей YandexGPT теперь понимает игру слов и сложные фразы, что помогает переводить рекламные слоганы и заголовки, избегая дословных ошибок. Это значительно улучшило как простые переводы (например, состав косметических продуктов), так и сложные (научные статьи, инструкции). Новая технология уже доступна в приложениях «Переводчик» и «Браузер», а вскоре появится в Умной камере.
Для повышения точности перевода алгоритмы Яндекса удаляют оригинальный текст с изображения и заменяют его переведённым, сохраняя шрифт, цвет и другие визуальные параметры, чтобы текст был естественным и легко читался. Улучшенная визуализация делает перевод даже более удобным для чтения, чем оригинал, благодаря контрасту и корректному распознаванию слов.
Разработчики обучили модель YandexGPT, используя множество пар оригинальных и переведённых текстов, что позволило улучшить качество перевода и избежать типичных ошибок. Благодаря применению метода дистилляции Яндекс сумел уменьшить вычислительные затраты, сохранив при этом высокое качество обработки запросов.
Читать материалы по теме:
Проверка орфографии, анализ данных: «Яндекс» запустил нейросеть YandexGPT 3 Lite
Упростит работу с контентом: в «Яндекс Браузере» появился текстовый нейроредактор