Сбер открыл доступ к библиотеке SIRIN. Она выявляет в ответах языковых моделей вымышленные и неподтверждённые факты. В основе — исследования Сбера в области детекции «галлюцинаций» нейросетей.

SIRIN анализирует ответ модели целиком или отдельные куски текста и показывает участки, где могут быть ошибки или неподтверждённые сведения. Инструмент заранее оценивает, хватает ли ИИ-агенту информации для ответа. Если данных мало, модель может запросить их дополнительно или вообще отказаться от неподтверждённого ответа. 

Учёные из команды компании разработали метамодели, которые повышают точность обнаружения ошибок почти на 30% — и всё это на базе всего 250 примеров для обучения.

Решение объединяет разные методы проверки ответов языковых моделей: разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант под свою задачу. Подход показал себя внутри Сбера в сервисах для работы с клиентами, теперь библиотеку открыли для всех компаний.

«Галлюцинациями» в ИИ называют ситуации, при которых языковая модель уверенно выдаёт вымышленную информацию как факт. Нейросеть не «вспоминает» данные, а прогнозирует наиболее вероятное продолжение текста — и может с той же уверенностью ответить и правильно, и придумать несуществующие события, цитаты или цифры. Такие ответы выглядят правдоподобно, поэтому распознать ошибку без проверки сложно.