В Новгородском государственном университете имени Ярослава Мудрого разработали модели искусственного интеллекта, распознающие рамки лиц и их ключевые точки на фотографиях. Эти технологии станут основой системы айтрекинга — устройства, позволяющего управлять компьютером при помощи взгляда. Оно особенно важно для людей с ограниченными возможностями здоровья.
Первая модель определяет границы лица, вторая — ключевые точки: глаза, брови, нос и рот. Совместно они формируют нейросетевую систему, которая распознаёт лицо, вырезает нужный фрагмент и считывает биометрические параметры. Для обучения использовались доработанные датасеты из открытых источников. На закрытом тестовом наборе данных точность распознавания лиц составила 87%, а отклонение при определении ключевых точек — менее двух пикселей на изображении 96×96 пикселей.
Сейчас команда разработчиков готовится к сборке нового датасета и созданию третьей модели, которая будет предсказывать направление взгляда на экране. Готовый прототип программного обеспечения планируется представить в начале 2026 года. Разработкой занимаются Артем Алексеев и Валентин Баранов.
Ранее команда под руководством Игоря Кулакова уже создала прототип нейросети для распознавания жестов рук, а сейчас работает над моделью для обработки голосовых команд. Все эти решения будут интегрированы в айтрекер. По словам Кулакова, существующие аналоги пока недостаточно точны, и команда рассчитывает улучшить их за счёт современных инструментов машинного обучения.
Читать материалы по теме:
Российские исследователи обучили нейросеть распознавать лица людей с неудобных ракурсов
Стереозрение для беспилотников на основе ИИ создали самарские учёные
В НИУ ВШЭ создали алгоритмы для анализа движений глаз: шаг к более умным технологиям
