Especialistas del Centro de Inteligencia Artificial Práctica de Sberbank e investigadores del MIPT han propuesto un nuevo método que reduce el tiempo y los costos de aprendizaje de modelos de redes neuronales distribuidas.
El enfoque desarrollado reduce la carga en los recursos computacionales al optimizar el intercambio de datos entre dispositivos. En los sistemas distribuidos, donde el aprendizaje del modelo se realiza en múltiples máquinas, una parte importante del tiempo se dedica a la sincronización. El nuevo método utiliza la compresión de la información transmitida y tiene en cuenta la similitud de los datos locales, lo que permite intercambiar datos con menos frecuencia sin perder la calidad del modelo.
Nuestro objetivo era combinar los enfoques modernos de comunicaciones eficientes (aceleración, compresión y consideración de la similitud de los datos) en un único algoritmo con claras garantías teóricas.
La tecnología es especialmente relevante para tareas con ancho de banda de red limitado, por ejemplo, cuando se trabaja con dispositivos edge. Según los desarrolladores, el método puede aplicarse en diversas industrias, incluidas las finanzas, las telecomunicaciones y la industria.
La investigación se publicó en el marco de la conferencia AAAI’25, una de las más grandes en el campo de la inteligencia artificial. El trabajo futuro se centrará en adaptar el método a varios tipos de arquitecturas de redes neuronales.
Gracias a estos desarrollos, los asistentes de voz, los sistemas de reconocimiento facial, los traductores automáticos y otros servicios de IA serán más eficientes y accesibles.
Lea más materiales sobre el tema:
Ямы, выбоины и отсутствие люков: нейросеть партнёра Ростеха научили выявлять дефекты на дорогах
C точностью до 83%: нейросеть, предсказывающую кризисы на фондовом рынке, создали в НИУ ВШЭ
