В Новосибирском государственном университете (НГУ) разработали приложение на основе искусственного интеллекта для перевода жестового языка в текст в режиме реального времени.
Приложение функционирует как на компьютерах, так и на мобильных устройствах. Разработчик Ярослав Чеканов самостоятельно изучил русский жестовый язык и собрал большой массив данных для обучения ИИ. Приложение считывает изображение с видеокамеры и переводит жесты в текст, который отображается на экране.
Основным преимуществом решения является высокая скорость и точность перевода по сравнению с аналогами. В будущем планируется добавить обратный перевод — из текста и голоса в жесты. По мнению автора, этот проект имеет важное социальное значение, расширяя возможности взаимодействия для людей с ограниченными возможностями.
Читать материалы по теме:
Восстановит моторику верхних конечностей: в Томске создали игровую платформу для реабилитации
ВТБ запустил чат-бот с анимированным сурдопереводчиком для клиентов с нарушением слуха
Четкий захват: ученые ПНИПУ сделали бионические протезы рук более точными