Специалисты Центра практического искусственного интеллекта Сбербанка и исследователи из МФТИ предложили новый метод, сокращающий время и затраты на обучение распределённых нейросетевых моделей.
Разработанный подход уменьшает нагрузку на вычислительные ресурсы за счёт оптимизации обмена данными между устройствами. В распределённых системах, где обучение модели происходит на множестве машин, значительная часть времени тратится на синхронизацию. Новый метод использует сжатие передаваемой информации и учитывает схожесть локальных данных, что позволяет реже обмениваться данными без потери качества модели.
Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учёт похожести данных — в единый алгоритм с чёткими теоретическими гарантиями.
Технология особенно актуальна для задач с ограниченной пропускной способностью сети, например, при работе с edge-устройствами. По словам разработчиков, метод может применяться в различных отраслях, включая финансы, телекоммуникации и промышленность.
Исследование опубликовано в рамках конференции AAAI’25, одной из крупнейших в области искусственного интеллекта. Дальнейшая работа будет направлена на адаптацию метода для различных типов нейросетевых архитектур.
Благодаря таким разработкам голосовые помощники, системы распознавания лиц, автоматические переводчики и другие ИИ-сервисы станут эффективнее и доступнее.
Читайте ещё материалы по теме:
Ямы, выбоины и отсутствие люков: нейросеть партнёра Ростеха научили выявлять дефекты на дорогах
C точностью до 83%: нейросеть, предсказывающую кризисы на фондовом рынке, создали в НИУ ВШЭ
Дроны научат искать пропавших людей с помощью нейросетей
