Человекоподобному роботу на складе недостаточно распознать голосовую команду «Возьми коробку с верхней полки». Для её выполнения машине необходимо определить расположение нужного груза, сориентироваться в пространстве, спланировать маршрут, подойти к стеллажу, захватить коробку и переместить её в указанное место. Учёные Московского физико-технического института (МФТИ) разработали систему, которая позволяет роботу самостоятельно планировать такие многоэтапные действия на основе голосовых команд оператора.
Метод получил название SG-RAPL. Он объединяет большую языковую модель и трёхмерную карту окружающего пространства. Результаты исследования опубликованы в журнале Engineering Applications of Artificial Intelligence.
Одна из главных особенностей системы — способность учитывать не только сами предметы, но и то, как они расположены относительно друг друга. Робот видит стеллажи, контейнеры, коробки и людей, а затем связывает эти объекты в общую схему — граф трёхмерной сцены. Если на складе что-то переместили, система обновляет эту картину.
Для построения графа разработчики объединили несколько видов визуальной информации: данные о распознанных объектах, карты глубины и специальные метки ArUco. Благодаря этому система может собирать и обновлять трёхмерную картину пространства с помощью одной встроенной камеры.
Затем к работе подключается большая языковая модель. Она переводит обычную команду в последовательность конкретных действий. Например, сложное поручение забрать коробку с полки разбивается на навигацию к стеллажу и манипуляции с грузом.
Как проверяли систему
Для обучения и проверки метода исследователи собрали собственный набор данных. В него вошли изображения складских помещений и десятки сценариев с командами на естественном языке. Все материалы учёные разметили вручную.
Эксперименты проводили в виртуальной среде и на реальном человекоподобном роботе, созданном в Лаборатории интеллектуальных технологий робототехники. По результатам испытаний подход с трёхмерным графом показал более высокую эффективность, чем системы, которые не используют такую модель окружающего пространства.
Авторы также провели сравнительное тестирование современных алгоритмов планирования действий роботов в складских условиях. Код разработки и набор данных опубликованы в открытом доступе на GitHub.
Исследование выполнили при поддержке Минэкономразвития России. В дальнейшем учёные планируют адаптировать систему для других типов промышленных объектов.
Читайте ещё материалы по теме:
- Большая наука под защитой: суперкомпьютер МГУ получил хранилище на процессорах Baikal-S
- Инженеров для разработки российских процессоров и ускорителей начнут готовить YADRO и ИТМО
- Как заставить нейросети работать эффективнее: российские исследователи представили свои открытия на EMNLP 2026 в Будапеште