Yandex ha presentado un nuevo servicio que permite ejecutar soluciones basadas en inteligencia artificial en smartphones y PC con un mínimo de recursos computacionales. Este proyecto de código abierto está dirigido a reducir los gastos al utilizar grandes modelos lingüísticos (LLM).
El investigador Vladimir Malinovsky, del departamento científico de Yandex, ha desarrollado una solución para trabajar con un modelo lingüístico que contiene 8 mil millones de parámetros en dispositivos comunes. Esta innovación simplifica significativamente el acceso a las redes neuronales para empresas, startups e investigadores. El código fuente del proyecto está disponible en GitHub.
Su base es la tecnología de compresión de redes neuronales AQLM, creada por el equipo de Yandex Research en colaboración con las universidades ISTA y KAUST en el verano de 2024. Esto permite realizar todos los cálculos directamente en los dispositivos de los usuarios, eliminando la necesidad de costosas unidades de procesamiento gráfico.
El servicio permite a los usuarios descargar un modelo cuyo tamaño se ha reducido de 15 a 2,5 GB. Puede funcionar sin internet, y su velocidad de procesamiento depende de la potencia del dispositivo. Por ejemplo, en un MacBook Pro M1, el modelo procesa 1,5 tokens por segundo.
El nuevo servicio de Yandex está escrito en lenguaje Rust utilizando la tecnología WebAssembly, lo que permite ejecutarlo directamente en el navegador. A pesar de la significativa compresión, la calidad del trabajo del modelo se mantiene en un nivel del 80% de los indicadores originales gracias a los métodos AQLM y PV-tuning.
Lea también sobre el tema:
Нейросеть от Яндекса научилась тезисно пересказывать текст
YandexGPT сдала ЕГЭ по литературе
Следит за нитью разговора: нейросеть от Яндекса стала более самообучаемой
