«Яндекс» обновил поиск по изображениям, добавив одновременный анализ самой картинки и текста, который сопровождает её на странице. В компании утверждают, что это позволит точнее определять содержание изображений, особенно в случаях, когда подпись или описание не соответствует тому, что показано на фотографии.

Алгоритмы поиска по картинкам «Яндекса» научились одновременно анализировать изображение и текст на странице. Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению.

В основе обновления лежит мультимодальная технология. Сначала специалисты обучили большую модель, а затем на её базе разработали несколько компактных моделей для различных этапов обработки данных.

Самые ресурсоёмкие операции выполняются заранее, благодаря чему новый алгоритм способен работать в реальном времени без увеличения времени формирования результатов поиска.

Ранее система анализировала изображение и текст отдельно, что могло приводить к ошибкам при расхождении визуальной информации и описания. Теперь эти данные рассматриваются совместно. По данным «Яндекса», после внедрения технологии доля релевантных изображений в верхней части поисковой выдачи заметно увеличилась.