Специалисты Управления экспериментальных систем машинного обучения (входит в состав департамента SberDevices) Сбербанка разработали открытую компактную ИИ-модель Pollux, которая оценивает ответы нейросетей на русском и английском языках. Об этом сообщили в пресс-службе банка.
В Pollux мы собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей.
ИИ-модель можно использовать для оценки диалогов RAG-систем (архитектурное решение, связывающее большую языковую модель с внешней базой знаний) и ИИ-агентов, добавил Марков.
В пресс-службе Сбербанка пояснили, что обычно для оценки ответов нейросетей используют большие языковые модели. Однако при массовых проверках необходимы значительные вычислительные мощности. Поскольку ИИ-модель Pollux запускается локально,больших ресурсов для её работы не требуется.
Новая разработка содержит 4 млрд параметров для проверки ответов нейросетей по критериям, заданным пользователем. В Сбербанке ожидают, что Pollux повысит качество и безопасность систем искусственного интеллекта.