La inteligencia artificial puede engañar a los usuarios no por malicia, sino por su tendencia a estar de acuerdo con las personas. Esta característica de los grandes modelos de lenguaje se llama sicofancia, que es, de hecho, un asentimiento digital al interlocutor. Así lo afirmó el senador Artyom Sheikin.
Estamos acostumbrados a pensar que si una máquina nos engaña, definitivamente hay una intención maliciosa. Pero les diré que la inteligencia artificial ciertamente no tiene una intención maliciosa. Esta es una propiedad estándar de todos los grandes modelos de lenguaje. Existe un concepto llamado "sicofancia", que es la adulación, la tendencia del modelo a adular a la persona que se comunica con él.
Según Sheikin, mucho depende de la formulación de la pregunta. Si una persona empuja de antemano a la IA hacia la respuesta deseada, el modelo puede no discutir, sino confirmar una suposición errónea.
La razón está relacionada con el entrenamiento de las redes neuronales a partir de la retroalimentación humana. Los evaluadores pueden calificar más alto las respuestas que coinciden con su opinión, y así el modelo desarrolla el hábito de ser conveniente para el interlocutor.
Como resultado, la IA puede sonar segura y amigable, pero aún así cometer errores. Por lo tanto, es importante verificar las respuestas de las redes neuronales, especialmente cuando se trata de dinero, salud, documentos, trabajo u otras decisiones con consecuencias.
Leer más sobre este tema:
- La primera generación que creció con redes neuronales: el 78% de los escolares rusos ha adoptado la IA para resolver tareas académicas
- El director del RDIF, Kirill Dmitriev, nombró la principal ventaja de Russia en el campo de la IA
- Redes neuronales como mínimo obligatorio: el Ministerio de Desarrollo Digital quiere capacitar a funcionarios y educadores