El MIPT ha desarrollado el sistema MSSPlace, que ayuda a los robots a reconocer un lugar y determinar su posición incluso con mal tiempo, poca luz y problemas con la navegación por satélite. El sistema combina datos de cámaras, lidars, máscaras semánticas y descripciones textuales de la escena. Como resultado, crea una descripción digital del lugar: un descriptor.
Cuando el robot se mueve, recopila una base de datos de estos descriptores para las ubicaciones visitadas. Si necesita entender dónde se encuentra ahora, el sistema compara el descriptor actual con la base de datos y busca el lugar más similar.
La idea principal es que el robot no depende solo de la cámara o solo del lidar. La cámara no muestra bien las distancias, el lidar construye un mapa 3D sin una comprensión completa de los objetos, y juntos, estas fuentes proporcionan una imagen más estable.
Las imágenes semánticas simplificadas, donde los objetos están etiquetados por su significado: carretera, árbol, edificio y otros elementos, juegan un papel especial. Dependen menos de la hora del día, la estación y la iluminación.
El desarrollo puede ser útil para vehículos autónomos, robots de reparto, robots de limpieza y drones adaptativos. El MIPT también ha incluido los resultados en la biblioteca de software de código abierto OpenPlaceRecognition.