Новые методы сжатия языковых моделей выложили в свободный доступ программисты компании Яндекс. Их внедрение позволит бизнесу сократить вычислительные расходы на использование нейросетей в восемь раз и значит сэкономить средства. Решение Yandex Research поможет тем компаниям, которые запускают нейросети на собственных мощностях.
Обычно языковая модель для своей быстрой работы требует большое количество мощных графических процессоров. Специалисты Яндекса создали решение, сокращающее необходимые вычислительные мощности. В него также включена система исправления ошибок, которые возникают при сжатии большой языковой модели.
В компании утверждают, что представленное решение на 95% сохраняет качество ответов нейросети. Опубликованный код доступен на GitHub.
Нейросеть от Яндекса может пересказывать видеоролики на иностранном языке
Нейросеть обучили распознавать лица с неудобных ракурсов
Стало известно, что думают россияне об ИИ искусственном интеллекте