Учёные Санкт-Петербургского федерального исследовательского центра РАН разработали программное обеспечение для управления электроникой с помощью жестов. Об этом РИА Новости сообщила пресс-служба учреждения. Точность распознавания жестов — более 99,6%, что, по заявлению разработчиков, превышает показатели существующих аналогов. Система автоматически распознаёт 34 наиболее часто используемых жеста. Достаточно запустить ПО на ноутбуке или компьютере и показать жест в камеру. Исследование поддержано грантом Российского научного фонда.
Как работает система: трёхмерная карта глубины вместо обычного видео
Ключевая технология — нейросетевая модель, которая строит трёхмерную карту глубины изображения. Она позволяет определять жесты даже когда фон сливается с руками — главная проблема обычных видеосистем распознавания. Трёхмерная карта добавляет информацию о расстоянии до каждой точки изображения, что делает распознавание устойчивым к сложным условиям освещения и фону.
«Когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец», — Дмитрий Рюмин, старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН.
Применение: от медицины до пищевого производства
В медицине и на пищевом производстве дистанционное управление оборудованием жестами обеспечивает высокий уровень гигиены — хирург или оператор не касается поверхностей руками. Для бытового применения — управление звонками, лайками в соцсетях, выбором объектов на экране.
ТТХ системы распознавания жестов СПб ФИЦ РАН
- Точность распознавания: более 99,6%
- Количество распознаваемых жестов: 34, включая отсутствие жеста
- Технология: нейросетевая модель трёхмерной карты глубины
- Оборудование: стандартная камера ноутбука или компьютера
- Применение: медицина, пищевое производство, бытовая электроника
- Финансирование: грант Российского научного фонда
Точность 99,6% при использовании обычной камеры без специальных датчиков глубины — значимый технический результат. Большинство коммерческих систем жестового управления требуют специализированных камер или датчиков типа LiDAR. Разработка СПб ФИЦ РАН работает на стандартном оборудовании, что существенно снижает порог внедрения в медицине и промышленности.