Специалисты Донского государственного технического университета совместно с коллегами из МГТУ «Станкин» создали отечественное программное обеспечение для управления роботами с помощью жестов, сообщили в пресс-службе Минобрнауки РФ. Теперь российские промышленные манипуляторы могут распознавать команды оператора так же, как зарубежные аналоги, но без использования импортных решений.
В основе разработки — комбинация данных с обычной камеры и датчика глубины. Камера фиксирует изображение, а сенсор определяет расстояние до объектов. Вместе они компенсируют недостатки друг друга (например, при плохом освещении или потере глубины), обеспечивая более точное и надёжное распознавание. На основе полученных данных учёные разработали дескриптор — вектор признаков, который достаточно полно описывает движения оператора.
Система построена на алгоритмах компьютерного зрения и нейросетевых технологиях. Она распознаёт жестовые команды (программа обучена на десяти жестах) и передаёт данные на контроллер робота, где заранее прописаны соответствующие действия манипулятора. Разработка позволяет автоматизировать погрузку, сборочные операции, окраску, лазерную обработку, маркировку и другие совместные операции человека и робота.
