Investigadores de la Universidad de Innopolis idearon una forma de acelerar entre 1,5 y 2 veces el entrenamiento de grandes modelos de lenguaje. Por primera vez, para ello utilizaron datos sobre como una persona percibe visualmente y lee el texto, segun informaron a "Pervomu tekhnicheskomu" desde el servicio de prensa de la universidad.
Los metodos modernos de alineacion de la IA con las preferencias humanas (RLHF) funcionan lentamente y requieren enormes capacidades de computo. El problema es que el modelo de recompensa evalua todo el texto generado con una sola calificacion general, sin indicar que es exactamente lo bueno o lo malo en el. Los cientificos de Innopolis propusieron mirar el texto con los ojos de una persona.
Los datos de la mirada se recopilan con ayuda de un eye tracker, un dispositivo fijado al monitor. Este rastrea a que partes del texto presta atencion una persona, en que secuencia y durante cuanto tiempo mantiene la mirada. Los cientificos realizaron experimentos con textos en ingles y con los modelos LLaMa y Mistral, poniendo a prueba dos enfoques. Ambos proporcionaron una aceleracion del entrenamiento de 1,5 a 2 veces sin perdida de calidad.
La investigacion demuestra que la mirada humana es una senal significativa y antes subestimada en el entrenamiento de modelos de IA. El uso de datos de la mirada permite crear metodos mas eficientes y economicos para la alineacion de modelos de lenguaje. Esto no solo acelera el proceso, sino que lo hace mas dirigido, de forma similar a como un profesor, en lugar de poner un "dos" por un trabajo, senala al estudiante las frases concretas que requieren revision. Ademas, nuestro trabajo mostro que los datos de la mirada humana pueden ser reemplazados por datos sinteticos para resolver los principales problemas de este tipo de investigaciones: la aguda escasez de informacion sobre la mirada y la dificultad de obtener nuevos datos.
En el futuro, los cientificos planean comprobar el metodo en algoritmos offline y ampliar la investigacion a otros idiomas.
Lea tambien otros materiales sobre el tema:
- La red neuronal buscara a delincuentes y personas desaparecidas a traves de camaras de videovigilancia en Rostov del Don
- Las redes neuronales mienten de forma convincente: una peligrosa regularidad fue revelada por una investigacion del Politecnico de Perm
- La IA no escribira una nueva sinfonia de Chaikovski: en IMEMO RAN explicaron por que el arte sigue perteneciendo al ser humano
