Especialistas de la Universidad Técnica Estatal del Don, junto con colegas de la Universidad Tecnológica Estatal de Moscú "Stankin", crearon un software nacional para controlar robots mediante gestos, según informó el servicio de prensa del Ministerio de Ciencia y Educación Superior de la Federación Rusa. Ahora, los manipuladores industriales rusos pueden reconocer los comandos del operador de la misma manera que sus homólogos extranjeros, pero sin el uso de soluciones importadas.
La base del desarrollo es una combinación de datos de una cámara normal y un sensor de profundidad. La cámara captura la imagen y el sensor determina la distancia a los objetos. Juntos, compensan las deficiencias del otro (por ejemplo, en condiciones de poca luz o pérdida de profundidad), lo que garantiza un reconocimiento más preciso y fiable. A partir de los datos obtenidos, los científicos desarrollaron un descriptor: un vector de características que describe de forma suficientemente completa los movimientos del operador.
El sistema se basa en algoritmos de visión artificial y tecnologías de redes neuronales. Reconoce los comandos gestuales (el programa está entrenado en diez gestos) y transmite los datos al controlador del robot, donde se prescriben de antemano las acciones correspondientes del manipulador. El desarrollo permite automatizar la carga, las operaciones de montaje, el pintado, el procesamiento láser, el marcado y otras operaciones conjuntas de personas y robots.