Учёные Санкт-Петербургского федерального исследовательского центра РАН разработали программное обеспечение для управления электроникой с помощью жестов. Об этом РИА Новости сообщила пресс-служба учреждения. Точность распознавания жестов — более 99,6%, что, по заявлению разработчиков, превышает показатели существующих аналогов. Система автоматически распознаёт 34 наиболее часто используемых жеста. Достаточно запустить ПО на ноутбуке или компьютере и показать жест в камеру. Исследование поддержано грантом Российского научного фонда.

Как работает система: трёхмерная карта глубины вместо обычного видео

Ключевая технология — нейросетевая модель, которая строит трёхмерную карту глубины изображения. Она позволяет определять жесты даже когда фон сливается с руками — главная проблема обычных видеосистем распознавания. Трёхмерная карта добавляет информацию о расстоянии до каждой точки изображения, что делает распознавание устойчивым к сложным условиям освещения и фону.

«Когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец», — Дмитрий Рюмин, старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН.

Применение: от медицины до пищевого производства

В медицине и на пищевом производстве дистанционное управление оборудованием жестами обеспечивает высокий уровень гигиены — хирург или оператор не касается поверхностей руками. Для бытового применения — управление звонками, лайками в соцсетях, выбором объектов на экране.

ТТХ системы распознавания жестов СПб ФИЦ РАН

• Точность распознавания: более 99,6%
• Количество распознаваемых жестов: 34, включая отсутствие жеста
• Технология: нейросетевая модель трёхмерной карты глубины
• Оборудование: стандартная камера ноутбука или компьютера
• Применение: медицина, пищевое производство, бытовая электроника
• Финансирование: грант Российского научного фонда

Точность 99,6% при использовании обычной камеры без специальных датчиков глубины — значимый технический результат. Большинство коммерческих систем жестового управления требуют специализированных камер или датчиков типа LiDAR. Разработка СПб ФИЦ РАН работает на стандартном оборудовании, что существенно снижает порог внедрения в медицине и промышленности.

Читайте ещё материалы:

• VR-очки и управление жестами: нейросеть для ремонта артиллерии разработали в Пензе
• Вошёл в ТОП-50 стартапов в России: комплекс для управления БПЛА при помощи жестов создали в Липецке
• В России разработали уникальный браслет для управления бионической рукой