El profesor de la Universidad ITMO, Anatoly Shalyto, Doctor en Ciencias Técnicas, realizó un experimento con varios modelos de lenguaje y llegó a la conclusión de que no se puede confiar en ellos sin verificación. El 23 de julio de 2026, preguntó a la versión gratuita de Perplexity quiénes fueron sus oponentes oficiales en su tesis doctoral. El modelo dio los nombres de dos científicos que en realidad fueron oponentes de su estudiante de posgrado, 25 años después de la defensa del propio Shalyto.
El profesor se dirigió a "Alisa", el modelo de Yandex. Ella nombró a otros oponentes, pero también resultaron ser de la tesis de su alumno. En el segundo intento, "Alisa" dio dos nombres, de los cuales solo uno era correcto; el segundo profesor lo nombró su coautor, no su oponente.
El modelo de Sber también se equivocó: citó a los mismos oponentes ficticios, indicó incorrectamente el año de defensa (1998 en lugar de 1999) y nombró a LETI como la organización principal, aunque en realidad Shalyto defendió allí, y la empresa principal fue el Instituto de Problemas de Control de la RAS.
“Sin verificación, no se puede confiar en los consejos de estos "ayudantes" probabilísticos y, por lo tanto, irresponsables, y si la información que se recibe de ellos cada vez debe verificarse a fondo, ¿cómo se puede confiar en ellos para algo responsable?
Al mismo tiempo, Shalyto señaló que el ChatGPT de pago no respondió a la misma pregunta, pero tampoco se equivocó, indicando con precisión la fecha y el lugar de la defensa, y señalando correctamente que los oponentes se mencionan en la segunda página del resumen.