«Алиса, надо бы прибраться»: умный дом Яндекса научился понимать естественную речь

Технология tool calling позволяет вызывать несколько действий одной фразой и учитывать контекст диалога

Яндекс обновил умный дом: теперь голосовой помощник «Алиса» понимает естественную речь пользователей.

Пользователи могут давать команды в свободной форме, а система автоматически определяет нужное действие. Например, фраза «Алиса, пора прибраться» запускает робот-пылесос, «Алиса, мне завтра нужно встать в семь» — ставит будильник, а «Алиса, слишком темно» — регулирует освещение.

Система распознаёт синонимы и контекст: «включи свет на столе» и «включи настольную лампу» трактуются одинаково, «зал» и «гостиная» — тоже. Она корректно обрабатывает цвета: если пользователь говорит «бирюзовый», умный дом включает свет, даже если в палитре он обозначен как голубой.

Алиса учитывает контекст диалога. После вопроса «При какой температуре заваривать чёрный чай?» достаточно сказать «Включи чайник на эту температуру», и устройство выполнит команду. Одной фразой можно задать сразу несколько действий: «Алиса, включи жёлтый свет на сорок процентов». Система понимает конструкции с исключениями: «Алиса, выключи свет везде, кроме кухни».

Технология вызова функций (tool calling) распределяет запросы между устройствами. Модель анализирует команду, разбивает её на шаги и активирует соответствующие устройства. По мере обучения умный дом будет всё точнее распознавать разговорные команды и выполнять сложные действия.

Читайте ещё материалы по теме: