Российские специалисты Института системного программирования имени В. П. Иванникова (ИСП) РАН разработали инструменты, обеспечивающие защиту от «отравления» данных, применяемых для обучения ИИ-систем. Это нововведение позволит уменьшить вероятность сбоев в работе таких решений и повысит их защиту от кибератак.
Киберпреступники пользуются методом «отравления» данных, чтобы помешать нормальной работе систем с ИИ. Из-за этого нейросеть выдает неверные результаты.
Директор Института системного программирования Арутюн Аветисян рассказал, что специалистами Исследовательского центра доверенного искусственного интеллекта ИСП РАН вместе с сотрудниками РАНХиГС было создан набор тестовых данных SLAVA. Он позволил проверять алгоритм ценностного анализа.
Кроме этого были созданы инструменты против «отравления» баз данных, позволяющие противодйствовать атакам. Аветисян пояснил что были созданы доверенные версии базовых фреймворков для работы с ИИ.
Безусловно, опасны и ошибки ИИ, и его зловредное применение. Отказаться от искусственного интеллекта нельзя — это только приведёт к отставанию. Надо строить доверенные ИИ-системы, опираясь на передовые научные разработки.
Арутюн Аветисян
Напомним, что «отравление» баз данных, также известное как data poisoning, представляет собой вид атаки на системы машинного обучения, при которой злоумышленник целенаправленно добавляет ложные или вредоносные данные в обучающую выборку. Основная цель такой атаки — снизить качество модели, заставляя её выдавать неверные предсказания или принимать ошибочные решения.
Хакеры нацеливаются в России на атаки интернета вещей
Нейросеть научили выявлять уязвимости в текстовых капчах
Отечественная платформа для обучения нейросетей второго поколения появилась в России