Система распознавания эмоций по голосу и мимике MASAI разработана учёными СПб ФИЦ РАН

Учёные из Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) разработали систему искусственного интеллекта MASAI, способную распознавать человеческие эмоции по видео, аудио и тексту. Точность распознавания достигает 80%, что превышает показатели существующих аналогов.

Система анализирует мимику, речь и текстовые данные для определения семи базовых эмоций: радости, грусти, страха, отвращения, удивления, злости и спокойствия. Кроме того, программа проводит сентимент-анализ, определяя положительное, отрицательное или нейтральное отношение человека к событию. MASAI может работать как с заранее записанными материалами, так и в режиме реального времени, в том числе в условиях шума или плохого освещения.

Разработка основана на группе из нескольких нейронных сетей, обученных на мультиязычных базах данных с информацией о людях разного возраста, пола и из разных стран. Часть данных на русском языке была предоставлена молодыми актёрами театральных вузов.

По словам руководителя Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Алексея Карпова, система может быть интегрирована в цифровых помощников, например, в call-центры служб экстренной или психологической помощи, чтобы точнее оценивать состояние человека.

Система MASAI может быть встроена в различные виды цифровых помощников, которые сейчас используются во многих сферах жизни человека. Например, в телефонных службах скорой помощи или психологической поддержке, где эмоциональный искусственный интеллект позволит эффективнее реагировать на потребности человека.

Алексей Карпов, руководитель Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН

Разработка поддержана грантом Российского научного фонда (РНФ).