Яндекс анонсировал обновление своей технологии перевода текста на фотографиях и изображениях. По заявлениям компании, они стали одними из первых в мире, кто внедрил большую языковую модель для учета контекста при переводе картинок. Новинка также значительно улучшила визуализацию перевода — теперь текст стал более читабельным и визуально приближен к оригинальному оформлению.
Новая модель YandexGPT способна распознавать стиль оригинального текста и сохранять, например, игру слов на рекламных слоганах и газетных заголовках. Технология, основанная на нейросетях, оптимизирует формулировки в фразах с многозначными словами, избегая дословного перевода. Это позволяет получать более точные результаты при переводе текста на английском языке.
Для улучшения восприятия перевода на фотографиях Яндекс также провел оптимизацию визуализации для множества языков. Технология стирает оригинальный текст с изображений и накладывает переведённый текст поверх, подбирая шрифт, размер и цвет, а также устраняя артефакты, что позволяет получать естественно выглядящие переводы. Кроме того, технология обеспечивает высокий контраст текста. Она также справляется с переносами слов и определяет их значение, даже если в кадре присутствует только их часть.
Обновление уже доступно пользователям в «Яндекс Переводчике» и «Яндекс Браузере», а в скором времени появится и в «Умной камере».







