Яндекс представтил улучшенный фотоперевод для работы с текстами на изображениях

Яндекс представил новую версию своей технологии фотоперевода, основанной на нейросетях, которая теперь лучше помогает понимать тексты с изображений на многих языках. Технология будет полезна, например, для быстрого перевода меню в ресторанах во время поездок или для работы с технической документацией на иностранных языках. Благодаря обновлению переводы становятся более точными, учитывая контекст и стиль оригинального текста, а также визуально похожими на оригинальное оформление.

Семейство моделей YandexGPT теперь понимает игру слов и сложные фразы, что помогает переводить рекламные слоганы и заголовки, избегая дословных ошибок. Это значительно улучшило как простые переводы (например, состав косметических продуктов), так и сложные (научные статьи, инструкции). Новая технология уже доступна в приложениях «Переводчик» и «Браузер», а вскоре появится в Умной камере.

Для повышения точности перевода алгоритмы Яндекса удаляют оригинальный текст с изображения и заменяют его переведённым, сохраняя шрифт, цвет и другие визуальные параметры, чтобы текст был естественным и легко читался. Улучшенная визуализация делает перевод даже более удобным для чтения, чем оригинал, благодаря контрасту и корректному распознаванию слов.

Разработчики обучили модель YandexGPT, используя множество пар оригинальных и переведённых текстов, что позволило улучшить качество перевода и избежать типичных ошибок. Благодаря применению метода дистилляции Яндекс сумел уменьшить вычислительные затраты, сохранив при этом высокое качество обработки запросов.