Исследователи из МФТИ разработали бортовой интеллектуальный модуль, который автоматически преобразует видеопоток с камер БПЛА в структурированную объектовую сцену с историей наблюдений и геопривязкой. Разработка поможет операторам быстрее и эффективнее инспектировать промышленные объекты и оценивать последствия аварий, сообщила пресс-служба вуза.
Вместо простого обнаружения объектов в кадре система ведёт непрерывную цепочку — сегментацию, трекинг, реидентификацию, геопривязку и объектовую память. Ценность возникает не в каждом звене по отдельности, а в их связке. Вместо «в кадре что-то есть» оператор получает запись: в 10:15 обнаружен объект такого-то типа, он наблюдался несколько секунд, его положение связано с координатами БПЛА.
Система ведёт историю наблюдения каждого объекта и может отвечать на сложные запросы: как долго наблюдался объект, перемещался ли он, где находился на карте, насколько можно доверять результату распознавания. Искусственный интеллект не только сегментирует объекты и определяет их классы, но и объединяет эти данные с информацией от навигационных систем, что делает систему более надёжной в реальных условиях.
Каждый объект получает цифровой «паспорт»: тип, маску на изображении, идентификатор трека, время наблюдения, координаты и векторное представление для повторного поиска даже при изменении освещения и ракурса. Модуль может получить эталонное изображение объекта и в ходе полёта проверять, не похож ли один из наблюдаемых объектов на заданный образец. При уверенном совпадении объект фиксируется в памяти сцены и попадает в отчёт. Такая система особенно полезна при мониторинге территорий, анализе последствий аварий и поиске конкретной цели.
Читайте ещё материалы по теме:
- Беспилотники научили видеть дорогу без GPS и ГЛОНАСС: «умную» навигацию создали в МФТИ
- В Москве адаптировали нейросети для мониторинга земель
- Для интеграции в БПЛА и роботов: московские ученые создадут первый в России искусственный нейрон