"Yandex" presentó al gobierno de Russia un concepto para un conjunto especial de tareas y datos de referencia, con el que se propone verificar la conformidad de los sistemas de IA con los valores espirituales y morales. El proyecto aún se encuentra en la etapa de concepto. Se desconoce si dicha prueba será abierta o cerrada, quién determinará las preguntas y cuál será el formato final de la verificación.

Propósito de la prueba para redes neuronales

La creación de un conjunto de datos nacional, un conjunto de tareas y respuestas correctas para comparar diferentes modelos de IA, se dio a conocer en una reunión del grupo de trabajo sobre la regulación de la inteligencia artificial el 13 de agosto de 2026. Según fuentes de "Kommersant" familiarizadas con la discusión, dicha prueba debería mostrar cuán bien la IA se ajusta al "espíritu de la época y los valores del país" y es adecuada para su uso en las condiciones de Russia.

Un benchmark típico es un conjunto de tareas de control con respuestas de referencia, que permite comparar diferentes redes neuronales según los mismos criterios. Las pruebas modernas pueden verificar no solo el conocimiento, sino también la capacidad de la IA para realizar tareas laborales reales.

La prueba será abierta o cerrada

Una de las principales preguntas fue quién y cómo podrá ver las tareas. El FSB aboga por una opción cerrada, afirma "Kommersant". Si los desarrolladores conocen las preguntas de antemano, podrán configurar sus modelos específicamente para pasar la verificación con éxito, creen los expertos.

Los representantes de las empresas propusieron una opción combinada como compromiso: utilizar un conjunto público de tareas para pruebas abiertas y realizar la verificación final con un benchmark cerrado. Los temas pueden coincidir, pero la formulación de las preguntas será diferente.

La idea es que esto permitirá a los desarrolladores probar sus modelos en laboratorios de antemano, y realizar la evaluación final de forma separada y objetiva.

Quién decidirá qué determinar el cumplimiento de los requisitos

Todavía no hay una respuesta definitiva sobre quién determinará el contenido de dicha prueba. La comunidad de TI propone crear una comisión conjunta con la participación de representantes del estado, empresas y organizaciones expertas. Según los participantes en la discusión, esto hará que el benchmark sea más equilibrado.

La oficina del viceprimer ministro Dmitry Grigorenko informó que las propuestas aún se están discutiendo con representantes de la industria y los departamentos interesados, por lo que es demasiado pronto para hablar de decisiones específicas. El Ministry of Digital Development también declaró que los actos normativos de la ley de IA aún se están discutiendo con las empresas. La tarea principal es tener en cuenta los intereses de la industria y los usuarios y, al mismo tiempo, garantizar que las tecnologías cumplan con la legislación. "Yandex" y la AI Alliance no respondieron a la solicitud de "Kommersant".

Los expertos consideran que las respuestas de referencia cerradas son importantes para la seguridad de la verificación. Si toda la prueba está disponible para los desarrolladores, con el tiempo se puede aprender a pasarla no mediante una mejora real del modelo, sino mediante una configuración especial para tareas específicas.

Pero un formato completamente cerrado también crea un problema: el desarrollador no sabe qué categorías se están verificando, en qué proporción y qué requisitos se presentan. En tal caso, pasar la prueba puede convertirse en una especie de lotería, escribe la publicación.

También hay otra dificultad. Para las matemáticas o la programación, generalmente se puede dar una respuesta correcta inequívoca. Pero verificar la conformidad de la IA con ciertos valores es mucho más difícil: aquí se requerirá una evaluación experta y criterios especiales.