Большие языковые модели требуют всё больше вычислительных мощностей, а их обучение и эксплуатация обходятся компаниям в немалые деньги. Но можно ли получить те же результаты на менее мощном оборудовании и при этом тратить меньше? Исследователи «Т-Технологий» вместе с партнёрами представили на EMNLP 2026 семь разработок, которые помогают экономить ресурсы при обучении и запуске нейросетей. Некоторые из них уже используют в банковских сервисах. «Первый технический» разобрал, как работают новые методы и на сколько они сокращают расходы.

Что такое EMNLP и почему туда сложно попасть

Конференцию EMNLP (Conference on Empirical Methods in Natural Language Processing) организует группа SIGDAT Ассоциации компьютерной лингвистики (ACL). В этом году она проходила в Будапеште с 24 по 29 октября. По данным организаторов, конференция стала крупнейшей за всю историю. На неё поступило более 17 тыс. заявок.

Все работы проходят рецензирование. После этого председатели секций изучают отзывы и решают, какие исследования включить в программу. В основную программу приняли 2704 статьи из 17 661, то есть 15,31%. Ещё 2478 работ опубликовали в сборнике Findings. Отдельно прошёл отбор в секцию Industry Track, посвящённую практическому применению технологий. В неё приняли 265 из 931 заявки.

Из семи исследований «Т-Технологий» четыре вошли в основную программу, одно опубликовали в Findings, ещё два представили в Industry Track.

Модели делают не больше, а экономнее

Все семь исследований посвящены тому, как сделать нейросети дешевле в обучении и работе. Для этого есть несколько причин — мощные видеокарты стоят дорого, вычислительных ресурсов не всегда хватает, а компании не могут передавать внутренние данные во внешние облака из-за требований безопасности. Поэтому разработчики ищут способы добиться хороших результатов с помощью менее крупных моделей и меньших вычислительных мощностей.

В основе многих исследований лежит дообучение уже готовых нейросетей под конкретные задачи. Чтобы не перенастраивать всю модель целиком, разработчики используют метод LoRA. С его помощью можно менять только небольшую часть параметров, экономя время и вычислительные мощности. Другой подход, обучение с подкреплением, позволяет улучшать ответы нейросети на основе оценок за результат. Например, алгоритм GRPO предлагает модели несколько раз решить одну задачу, а затем сравнивает полученные ответы, чтобы определить наиболее удачные варианты.

Семь решений, которые помогают экономить ресурсы

Одно из российской исследований посвящено созданию корпоративной языковой модели, способной заменить несколько крупных решений. Исследователи взяли за основу Qwen3-32B и поэтапно дообучили её для работы с инструкциями, вызова внешних функций и решения внутренних задач банка. Затем отдельные версии модели объединили в одну. По данным авторов, на внутреннем тестировании она набрала 69,6 балла против 65,8 у значительно более крупной Qwen3-235B. Сейчас модель обрабатывает 116 млн запросов в месяц и обслуживает более 200 приложений. Её эксплуатация обходится в 2,8–3,9 раза дешевле, а в отдельных сервисах экономия достигает девятикратной.

Другая работа посвящена автоматической обработке документов. Авторы предложили дообучать визуально-языковые модели на документах, отобранных по сложности и особенностям вёрстки. Разработанная модель на базе Qwen3.5-35B-A3B-Base помещается на одну видеокарту Nvidia H100. При оценке стоимости исследователи учитывали не только автоматическое распознавание, но и работу операторов, проверяющих и исправляющих результаты. По их расчётам, подход сокращает затраты более чем на 80% по сравнению с ручной обработкой и более чем на 50% относительно лучшей открытой модели-конкурента.

Ещё несколько исследований предлагают оптимизировать само обучение нейросетей. Один из методов решает проблему неравномерной значимости слоёв модели. Обычно LoRA выделяет им одинаковое количество обучаемых параметров, хотя одни слои сильнее влияют на результат, чем другие. Новый подход распределяет ресурсы с учётом этого различия, отдавая больше параметров важным слоям. Общий бюджет при этом не увеличивается. Испытания на 12 задачах и четырёх моделях показали, что особенно заметен эффект при ограниченном количестве обучаемых параметров.

Другой метод помогает нейросетям не забывать редкие, но правильные способы решения задач. При обучении с подкреплением модель может постепенно закреплять наиболее распространённые варианты ответов и терять способность находить альтернативные решения. Авторы предложили ослаблять обновления модели для задач, которые она уже уверенно решает. В экспериментах с Qwen2.5-7B показатель pass@256 в математических задачах вырос с 64,1 до 70,3 по сравнению с GRPO, с 69,3 до 72,5 по сравнению с DAPO и с 73,2 до 76,8 по сравнению с CISPO. Дополнительных вычислительных ресурсов для этого не потребовалось.

Ещё один способ ускорить дообучение основан на принципе эволюционного отбора. Вместо традиционного вычисления градиентов система создаёт несколько вариантов адаптеров LoRA, проверяет их на задачах и отбирает лучшие для следующего поколения. Такой подход не требует обратного прохода и позволяет работать даже с моделями, сжатыми до INT8 и INT4. В эксперименте на 128 GPU метод довёл Qwen2.5-32B до заданного качества на математическом тесте MATH500 в 7,8 раза быстрее, чем GRPO с LoRA.

Сократить вычисления при обучении помогает и другой предложенный метод. В обычном трансформере каждый слой получает результат работы предыдущего, а новая разработка позволяет обращаться к информации из более ранних слоёв. Это помогает повторно использовать уже сформированные представления и не терять часть информации по мере обработки данных. По оценке авторов, такой подход сокращает вычислительные затраты на обучение примерно на 15% без ухудшения качества.

Наконец, исследователи предложили способ удешевить изучение внутреннего устройства нейросетей. Разреженные автоэнкодеры позволяют выделять и интерпретировать признаки, которые формируются внутри модели, но их обучение требует значительных ресурсов. Авторы применили математическое разложение, позволяющее упростить вычисления, и новую функцию активации для выявления связей между признаками. По их оценке, это сокращает затраты на извлечение признаков более чем на 40% по сравнению с традиционным подходом.

Что дальше

Некоторые разработки уже доступны для проверки. Исследователи опубликовали код нескольких методов и открытую версию корпоративной модели. Однако их практическую ценность за пределами экспериментов и инфраструктуры «Т-Технологий» ещё предстоит проверить.

Разработчики ищут не только способы создавать более крупные нейросети, но и методы эффективнее использовать уже имеющиеся вычислительные ресурсы. Это позволяет снижать стоимость обучения и эксплуатации моделей, не жертвуя качеством их работы.