«Яндекс» представил новое поколение речевых моделей для создания голосовых помощников. Они позволяют автоматизировать несколько этапов обслуживания в рамках одного звонка — перенести запись, рассчитать стоимость услуги с учётом скидки и отправить клиенту ссылку на оплату. Модели также способны реагировать на перебивания собеседника и менять интонацию в зависимости от контекста разговора.

Модели появились в Yandex AI Studio. Бизнес может настроить виртуального оператора с помощью текстовых инструкций, подключить его к корпоративным системам и проверить, как он будет вести себя в разных ситуациях. Создавать отдельный прототип для этого не требуется.
Одна из моделей, Speech TTS Live, отвечает за то, как звучит помощник. Она анализирует текст и выбирает подходящую интонацию, делает паузы и выделяет голосом важные слова. Для разных задач можно настроить разную манеру общения: уверенную для продаж, мягкую для поддержки или сдержанную для уведомлений. Есть отдельные варианты для медицинских сценариев и аудиогидов.
Другая модель, Speech Realtime Max, помогает выполнять действия прямо во время разговора. Она может обращаться к системам компании и последовательно решать несколько задач за один звонок. Например, изменить время записи, рассчитать цену, применить скидку и отправить клиенту ссылку для оплаты.
Ещё одна особенность — реакция на перебивания. Если человек начинает говорить, пока помощник отвечает, система останавливает текущую фразу и переключается на новую реплику. При этом она учитывает только ту часть предыдущего ответа, которую действительно успела произнести. Из-за этого помощнику не придётся повторять уже сказанное или ссылаться на информацию, которую клиент не услышал.
Важно, чтобы голосовой агент умел не только реагировать на новые реплики, но и понимал, что уже успел сказать, а что собеседник не дослушал.
В «Яндексе» ожидают, что новые модели помогут компаниям в десятки раз увеличить долю обращений, которые обрабатываются без участия человека. Речевые технологии Yandex SpeechKit уже применяют в образовании, туризме, торговле и городском управлении.