Человекоподобному роботу на складе недостаточно распознать голосовую команду «Возьми коробку с верхней полки». Для её выполнения машине необходимо определить расположение нужного груза, сориентироваться в пространстве, спланировать маршрут, подойти к стеллажу, захватить коробку и переместить её в указанное место. Учёные Московского физико-технического института (МФТИ) разработали систему, которая позволяет роботу самостоятельно планировать такие многоэтапные действия на основе голосовых команд оператора.

Метод получил название SG-RAPL. Он объединяет большую языковую модель и трёхмерную карту окружающего пространства. Результаты исследования опубликованы в журнале Engineering Applications of Artificial Intelligence.

Одна из главных особенностей системы — способность учитывать не только сами предметы, но и то, как они расположены относительно друг друга. Робот видит стеллажи, контейнеры, коробки и людей, а затем связывает эти объекты в общую схему — граф трёхмерной сцены. Если на складе что-то переместили, система обновляет эту картину.

Для построения графа разработчики объединили несколько видов визуальной информации: данные о распознанных объектах, карты глубины и специальные метки ArUco. Благодаря этому система может собирать и обновлять трёхмерную картину пространства с помощью одной встроенной камеры.

Затем к работе подключается большая языковая модель. Она переводит обычную команду в последовательность конкретных действий. Например, сложное поручение забрать коробку с полки разбивается на навигацию к стеллажу и манипуляции с грузом.

Как проверяли систему

Для обучения и проверки метода исследователи собрали собственный набор данных. В него вошли изображения складских помещений и десятки сценариев с командами на естественном языке. Все материалы учёные разметили вручную.

Эксперименты проводили в виртуальной среде и на реальном человекоподобном роботе, созданном в Лаборатории интеллектуальных технологий робототехники. По результатам испытаний подход с трёхмерным графом показал более высокую эффективность, чем системы, которые не используют такую модель окружающего пространства.

Авторы также провели сравнительное тестирование современных алгоритмов планирования действий роботов в складских условиях. Код разработки и набор данных опубликованы в открытом доступе на GitHub.

Исследование выполнили при поддержке Минэкономразвития России. В дальнейшем учёные планируют адаптировать систему для других типов промышленных объектов.