В Новосибирском государственном университете (НГУ) разработали приложение на основе искусственного интеллекта для перевода жестового языка в текст в режиме реального времени.

Приложение функционирует как на компьютерах, так и на мобильных устройствах. Разработчик Ярослав Чеканов самостоятельно изучил русский жестовый язык и собрал большой массив данных для обучения ИИ. Приложение считывает изображение с видеокамеры и переводит жесты в текст, который отображается на экране.

Основным преимуществом решения является высокая скорость и точность перевода по сравнению с аналогами. В будущем планируется добавить обратный перевод — из текста и голоса в жесты. По мнению автора, этот проект имеет важное социальное значение, расширяя возможности взаимодействия для людей с ограниченными возможностями.

Читать материалы по теме:

Восстановит моторику верхних конечностей: в Томске создали игровую платформу для реабилитации

ВТБ запустил чат-бот с анимированным сурдопереводчиком для клиентов с нарушением слуха

Четкий захват: ученые ПНИПУ сделали бионические протезы рук более точными