ВТБ совместно с Центром искусственного интеллекта МГУ разработал систему, которая поможет выявлять ошибки и недостоверную информацию в ответах банковских ИИ-помощников. Для этого созданы два специальных детектора — токсичности и галлюцинаций. Они будут проверять обращения клиентов и сообщения нейросетей, снижая риск предоставления неправильных финансовых рекомендаций.
Один из детекторов отвечает за безопасность общения. Он анализирует запросы пользователей и выявляет запрещённые темы, противоправный и неэтичный контент. Если система обнаружит подобное сообщение, его обработка будет заблокирована. Это должно защитить виртуальных помощников от провокационных запросов и попыток заставить их нарушить установленные ограничения.
Второй инструмент борется с одной из главных проблем искусственного интеллекта — галлюцинациями. Так называют ситуации, когда нейросеть уверенно выдаёт выдуманную информацию за достоверную. Разработка ВТБ и МГУ способна находить противоречия и несоответствия в сформированных ответах, указывая конкретные проблемные фрагменты. После этого специалисты банка смогут отправить сообщение на повторную проверку или полностью заблокировать его.
Особенно важна такая технология в банковской сфере, где ошибка нейросети может повлиять на финансовые решения клиента. Например, цифровой помощник способен предложить неподходящий продукт или предоставить недостоверные сведения об услуге. В ВТБ рассчитывают, что дополнительные механизмы контроля помогут сделать взаимодействие с ИИ более безопасным и надёжным. При этом обнаружение подозрительных ответов не гарантирует выявления абсолютно всех ошибок.