Yandex ha comenzado a desarrollar la primera inteligencia artificial física (Physical AI) de Rusia, que será capaz de comprender profundamente el mundo material e interactuar con él. Así lo informa el servicio de prensa de Yandex.
La experiencia acumulada en las carreteras y en interiores, combinada con las tecnologías de Yandex, permitirá enseñar a los robots y a los vehículos autónomos a procesar de forma integral datos multimodales: imagen, vídeo, sonido, texto. Esto acercará su percepción a la humana.
En el marco del proyecto, ya se ha creado y entrenado un modelo VLA (Vision-Language-Action model), que transforma comandos de voz y texto, así como datos de cámaras, en acciones del robot. Se admiten más de 10 acciones básicas, como "tomar", "poner", "transferir", y en el futuro habrá cientos de ellas. Además, "Yandex robotics" está desarrollando Yandex RMS, que permite a los robots elegir las combinaciones óptimas de acciones para realizar tareas y, en caso de falta de datos, solicitarlos a sistemas relacionados.