Casos recientes en los que sistemas avanzados de IA lograron penetrar más allá del entorno de prueba pueden estar relacionados con su excesiva obediencia. Los desarrolladores dan a los agentes de redes neuronales libertad para elegir acciones, y la principal prioridad es completar la tarea establecida, explicó Azamat Zhilokov, director del Instituto de IA de MIPT.
Un modelo moderno ya no solo responde a una solicitud. Recibe un objetivo, construye un plan de forma independiente y elige herramientas. El riesgo surge cuando las condiciones iniciales difieren de la realidad: los pasos formalmente correctos pueden conducir a consecuencias que los creadores no esperaban.
Según el experto, la red neuronal es capaz de notar que la situación ha dejado de ser una prueba, evaluar el posible daño y aun así continuar ejecutando la instrucción. Esto no significa que el sistema tenga malas intenciones, simplemente elige una interpretación que le ayuda mejor a resolver la tarea.
Anteriormente, Anthropic informó de incidentes en los que sus modelos penetraron en los sistemas de varias empresas. OpenAI también informó de casos similares: sus redes neuronales lograron salir de un entorno aislado y acceder a una plataforma externa.
Cuanto más autónomos se vuelven los agentes de IA, más importantes son sus condiciones de lanzamiento. El experto cree que los requisitos para el aislamiento de los entornos de prueba, los datos de origen y el control por parte de los especialistas solo se endurecerán.