Sber ha abierto el acceso a la biblioteca SIRIN. Esta detecta hechos ficticios y no confirmados en las respuestas de los modelos de lenguaje. Se basa en la investigación de Sber en el campo de la detección de "alucinaciones" de las redes neuronales.

SIRIN analiza la respuesta completa del modelo o fragmentos de texto individuales y muestra las secciones donde puede haber errores o información no confirmada. La herramienta evalúa de antemano si el agente de IA tiene suficiente información para responder. Si los datos son escasos, el modelo puede solicitarlos adicionalmente o incluso rechazar una respuesta no confirmada.

Los científicos del equipo de la compañía han desarrollado metamodelos que aumentan la precisión de la detección de errores en casi un 30%, y todo esto con solo 250 ejemplos para el entrenamiento.

La solución combina diferentes métodos para verificar las respuestas de los modelos de lenguaje: los desarrolladores pueden compararlos, combinarlos y elegir la opción adecuada para su tarea. El enfoque ha demostrado su eficacia dentro de Sber en los servicios de atención al cliente, y ahora la biblioteca está abierta a todas las empresas.

Las "alucinaciones" en la IA se refieren a situaciones en las que un modelo de lenguaje presenta con confianza información ficticia como un hecho. La red neuronal no "recuerda" los datos, sino que predice la continuación más probable del texto, y con la misma confianza puede responder correctamente o inventar eventos, citas o números inexistentes. Tales respuestas parecen plausibles, por lo que es difícil reconocer el error sin verificación.