Санкт-Петербургский Федеральный исследовательский центр РАН (СПб ФИЦ РАН) сообщил, что ученые учреждения обучили нейросеть читать по губам через смартфон. Это должно облегчить использование голосовых команд в очень шумных условиях.
«Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях», – рассказал старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.