Большие языковые модели требуют много памяти и мощных вычислительных ускорителей. Однако в МФТИ разработали метод HARP, который помогает сильнее сжимать нейросети без большой потери качества. В одном из экспериментов скорость работы ИИ-модели после двухбитного квантования составила около 128 токенов в секунду — примерно вдвое больше, чем у исходной версии с 16-битными параметрами. Авторы проверили подход на языковых моделях разных размеров, в том числе на Qwen3-8B.
Чтобы понять принцип работы HARP, нужно разобраться, почему нейросети занимают так много памяти. При работе языковая модель использует миллиарды параметров — чисел, которые определяют, как она обрабатывает запросы и формирует ответы. Обычно для хранения этих значений используют 16 бит на параметр, но их можно представить меньшим количеством битов. Такой процесс называют квантованием.
Чем сильнее сжатие, тем меньше памяти требуется для модели. Однако при слишком грубом представлении чисел нейросеть может хуже отвечать на вопросы и решать задачи. Поэтому разработчикам приходится искать баланс между размером модели и качеством её работы.
HARP помогает уменьшить потери при таком сжатии. Перед квантованием алгоритм подбирает для каждого слоя нейросети собственные математические преобразования. Они меняют представление данных так, чтобы значения было проще сжимать. При этом заново обучать всю языковую модель не требуется: настройка выполняется на специальной выборке данных.
Авторы проверили метод на моделях объёмом от 1 млрд до 70 млрд параметров. В экспериментах HARP улучшал показатели качества по сравнению с подходом, в котором использовались фиксированные преобразования. Результаты также проверили на Qwen3-8B, что позволило оценить работу метода за пределами семейства Llama.
В отдельном эксперименте с моделью на 7 млрд параметров двухбитная версия с HARP обрабатывала около 128 токенов в секунду. Для сравнения, исходная модель с 16-битными параметрами показывала около 61 токена в секунду, а вариант с другим методом преобразования — около 142 токенов в секунду. Как результат, сжатая модель сохранила примерно 90% скорости второго варианта и работала приблизительно в 2,1 раза быстрее исходной FP16-версии.
По мнению разработчиков, такие методы могут быть полезны компаниям, которым нужно запускать языковые модели на оборудовании с ограниченной памятью. Чем меньше ресурсов требует одна модель, тем больше моделей и задач потенциально можно разместить на имеющихся серверах. Однако HARP не устраняет потребность в вычислительных мощностях и электричестве, а помогает эффективнее использовать доступное оборудование.