Первый интеллектуальный помощник для слабовидящих и незрячих людей разработали в Новосибирске. Устройство создано на основе технологий искусственного интеллекта и больших языковых моделей.
Команда проекта включает специалистов из центра ИИ НГУ и филиала МНТК «Микрохирургия глаза». Их цель — создать компактное носимое устройство, которое поможет людям ориентироваться в пространстве с помощью звука.
Система работает следующим образом: видеокамера фиксирует окружающую обстановку, изображение передаётся на портативный компьютер, который преобразует его в текст. Затем текст озвучивается голосовым помощником и передается пользователю через наушники.
Устройство уже умеет распознавать надписи, указывать на препятствия и описывать предметы и помещения. В будущем планируется добавить возможность задавать вопросы об объектах и получать подробные ответы.
Разработка основана на мультимодальной языковой модели. Учёные считают, что это может стать доступной альтернативой дорогим медицинским имплантам.
Прототип устройства планируется завершить к концу 2025 года. Он будет включать 16-ядерный одноплатный компьютер, видеокамеру и наушники, а общий вес системы не превысит одного килограмма.
Читайте ещё по теме:
ИИ для обучения слепых разработали в Новосибирске
Микростент для борьбы с глаукомой разработали в НИИ глазных болезней
Высокочастнотное стекло для хрусталиков разработали в России
