Яндекс начал разработку первого в России физического искусственного интеллекта (Physical AI), который будет способен глубоко понимать материальный мир и взаимодействовать с ним. Об этом сообщает пресс-служба Яндекса.
Опыт, накопленный на дорогах и внутри помещений, в сочетании с технологиями Яндекса позволит научить роботов и автономные автомобили комплексно обрабатывать мультимодальные данные: изображение, видео, звук, текст. Это приблизит их восприятие к человеческому.
В рамках проекта уже создана и обучена модель VLA (Vision-Language-Action model), которая преобразует голосовые и текстовые команды, а также данные с камер в действия робота. Поддерживается более 10 базовых действий, таких как «взять», «положить», «перенести», и в будущем их станет больше сотни. Также «Яндекс роботикс» разрабатывает Yandex RMS, позволяющий роботам выбирать оптимальные комбинации действий для выполнения задач, а в случае нехватки данных — запрашивать их у смежных систем.
