«Когнитив Пилот» представила голосового ИИ-ассистента Cognitive Voice Assistant для полностью беспилотного мини-трактора без кабины. С ним оператор может обычными словами узнать, что происходит с машиной, как идёт её задание и что она собирается делать дальше, а при необходимости дать роботу команду голосом.

Разработка появилась после запросов пользователей мини-тракторов. Заказчикам важно в любой момент убедиться, что машина работает по плану, узнать её статус и понять следующие действия. При этом постоянно набирать команды на планшете или ноутбуке во время работы робота неудобно, поэтому разработчики сделали ставку на голосовое управление.

В основе Cognitive Voice Assistant лежит генеративная нейросеть Cognitive Pilot «Ипполит». Ассистент воспринимает обычную человеческую речь, понимает запрос и обрабатывает его в реальном времени в облачной вычислительной среде.

В отличие от публичных сервисов на базе больших языковых моделей, система работает в изолированной облачной среде на собственных вычислительных мощностях компании. Она не зависит от внешних провайдеров и, как заявляют разработчики, не подвержена потенциальным угрозам с их стороны.

Особенность системы в том, что она начинает анализировать речь ещё до того, как человек закончил фразу, утверждают разработчики. Поэтому оператору не приходится ждать завершения каждого этапа обработки, а разговор может идти практически без пауз.

Если для ответа недостаточно информации, ассистент сам обращается к внутренним системам робота. Он может получить данные о состоянии техники, диагностике, телеметрии, навигации или параметрах выполняемой операции и только после этого сформировать ответ.

Например, оператор может спросить о состоянии машины, качестве связи, текущих миссиях, характеристиках задания или этапе его выполнения. Ассистент способен анализировать телеметрию, сообщать уровень заряда батареи, давать прогнозы и оценивать, сможет ли робот выполнить конкретную задачу.

Система способна учитывать сразу несколько параметров

Например, на вопрос о поездке к точке «Б» на расстоянии 50 км она может определить, что при сложном рельефе, большом количестве подъёмов и установленном навесном оборудовании выполнить задачу невозможно из-за низкого заряда батареи.

Робот также может сам сообщить оператору о результате работы. Например, объяснить: «Не смог убрать мусор у входа, поскольку там было препятствие». Какие именно функции будут доступны пользователю, задаётся в системных настройках.

Cognitive Voice Assistant можно дополнительно настраивать под конкретного заказчика. В том числе предусмотрена возможность создавать специальные функции и выбирать тембр голоса робота.

В одном из детских лагерей робот используется для уборки территории. Помимо информации о своей работе, он может отвечать детям на вопросы вроде «Почему снег белый, а трава зелёная?» или рассказать анекдот. При этом для общения с детьми робот использует детский голос.

Ассистент также может принимать управленческие команды. Например, оператор может попросить робота остановиться, продолжить движение, просигнализировать фарами или подать звуковой сигнал.

Отдельное внимание разработчики уделили безопасности. По словам компании, в систему заложены сценарии, которые должны не допустить ситуации, при которой из-за действий злоумышленника или ошибки пользователя робот задавит человека или повредит машину.

Управлять Cognitive Voice Assistant предлагают со смартфона через простой интерфейс. В ближайшее время разработчики планируют завершить графический образ ИИ-робота и модуль, отвечающий за его мимику. 

В Cognitive Pilot считают, что голосовые ассистенты помогут быстрее адаптировать ИИ-роботов к работе в сельском хозяйстве, ЖКХ, грузоперевозках и других сферах. В компании называют проект возможным первым примером массового взаимодействия и «дружбы» человека с промышленным роботом.