Los grandes modelos de lenguaje requieren mucha memoria y potentes aceleradores computacionales. Sin embargo, en MIPT han desarrollado el método HARP, que ayuda a comprimir las redes neuronales de forma más eficiente sin una gran pérdida de calidad. En uno de los experimentos, la velocidad de operación del modelo de IA después de la cuantificación de dos bits fue de aproximadamente 128 tokens por segundo, aproximadamente el doble que la versión original con parámetros de 16 bits. Los autores probaron el enfoque en modelos de lenguaje de diferentes tamaños, incluido Qwen3-8B.
Para entender el principio de funcionamiento de HARP, es necesario comprender por qué las redes neuronales ocupan tanta memoria. Al operar, un modelo de lenguaje utiliza miles de millones de parámetros, números que determinan cómo procesa las solicitudes y genera respuestas. Normalmente, para almacenar estos valores se utilizan 16 bits por parámetro, pero se pueden representar con un número menor de bits. Este proceso se llama cuantificación.
Cuanto mayor es la compresión, menos memoria requiere el modelo. Sin embargo, con una representación demasiado burda de los números, la red neuronal puede responder peor a las preguntas y resolver tareas. Por lo tanto, los desarrolladores tienen que encontrar un equilibrio entre el tamaño del modelo y la calidad de su trabajo.
HARP ayuda a reducir las pérdidas durante esta compresión. Antes de la cuantificación, el algoritmo selecciona transformaciones matemáticas propias para cada capa de la red neuronal. Estas transformaciones cambian la representación de los datos para que los valores sean más fáciles de comprimir. Al mismo tiempo, no es necesario volver a entrenar todo el modelo de lenguaje: la configuración se realiza en una muestra de datos especial.
Los autores probaron el método en modelos con un volumen de 1.000 millones a 70.000 millones de parámetros. En los experimentos, HARP mejoró los indicadores de calidad en comparación con un enfoque que utilizaba transformaciones fijas. Los resultados también se probaron en Qwen3-8B, lo que permitió evaluar el rendimiento del método fuera de la familia Llama.
En un experimento separado con un modelo de 7.000 millones de parámetros, la versión de dos bits con HARP procesó aproximadamente 128 tokens por segundo. En comparación, el modelo original con parámetros de 16 bits mostró aproximadamente 61 tokens por segundo, y una variante con otro método de transformación, aproximadamente 142 tokens por segundo. Como resultado, el modelo comprimido mantuvo aproximadamente el 90% de la velocidad de la segunda variante y funcionó aproximadamente 2,1 veces más rápido que la versión original FP16.
Según los desarrolladores, estos métodos pueden ser útiles para empresas que necesitan ejecutar modelos de lenguaje en equipos con memoria limitada. Cuantos menos recursos requiera un modelo, más modelos y tareas se pueden alojar potencialmente en los servidores existentes. Sin embargo, HARP no elimina la necesidad de potencia computacional y electricidad, sino que ayuda a utilizar el equipo disponible de manera más eficiente.