Sber está desarrollando un nuevo tipo de tecnología de inteligencia artificial, el "full-duplex", que permite a la IA escuchar al interlocutor y hablar simultáneamente, como lo hace una persona durante una conversación telefónica. Sergey Markov, director de desarrollo de tecnologías de IA de Sberbank, habló sobre el nuevo desarrollo.

Hoy en día, la mayoría de los asistentes de voz funcionan según el principio de cola. La persona primero habla, luego el sistema procesa la solicitud y solo después responde. Con la nueva tecnología, se intenta organizar este proceso de manera diferente.

La principal diferencia del full-duplex es que en lugar de varias redes neuronales separadas, se utiliza un solo modelo. Actualmente, un sistema convierte la voz en texto, otro forma la respuesta y un tercero la convierte de nuevo en voz. Esto permite que la IA escuche y responda simultáneamente.

Si se añade la modalidad de vídeo, un sistema así también podrá ver al interlocutor y controlar los movimientos del avatar.

Tecnologías similares ya han aparecido en el extranjero. El primer modelo fue Moshi de la startup francesa Kyutai en 2024. Luego, Google presentó sus soluciones con Gemini Live y OpenAI con GPT-Live.

El full-duplex permite reducir significativamente el retraso en la respuesta, de varios segundos a 160-320 milisegundos. Esto ya es comparable a la velocidad de reacción humana en una conversación.

En Russia, nadie había anunciado públicamente un desarrollo similar antes. Yandex tiene una tecnología cercana, Realtime API, con una respuesta rápida y la capacidad de interrumpir al asistente, pero, según Markov, no es un full-duplex completo.

La diferencia es que el sistema de Yandex espera un cambio de réplica, mientras que un full-duplex completo continúa escuchando al usuario incluso cuando ya está hablando.