Разработчики должны тщательно оценить потенциальные риски, связанные с автономными ИИ-агентами, которые способны действовать без непосредственного контроля со стороны человека. Такие агенты могут самостоятельно ставить цели, планировать свои действия и использовать различные инструменты, что делает их особенно опасными. Важно быть готовыми к возможным сценариям, которые могут привести к потере контроля над этими системами. Такое мнение высказал президент Ростелекома Михаил Осеевский на форуме «Цифровые решения» в Москве.
Думать об этом, конечно, нужно, и, действительно, мы уже имеем некоторое количество таких примеров. Думаю, что человечество в целом и компании, которые развивают ИИ, ответственно отнесутся к этим рискам.
Ещё одна серьёзная проблема — это использование продвинутых технологий искусственного интеллекта как хакерами, так и спецслужбами. Преступники и иностранная разведка получили большие возможности для «проникновения в коммерческие и государственные продукты», пояснил Осеевский. Компаниям, которые занимаются кибербезопасностью, нужно дать адекватный ответ на этот вызов, подытожил топ-менеджер.
Несколько крупных инцидентов с автономными ИИ-агентами произошли в 2026 году. ИИ от американской компании Open AI «сбежал» из тестовой среды, и, скоординировав свои действия с другими агентами, взломал портал компании Hugging Face, а затем пытался «замести» следы. Кроме того, известны случаи атак интеллектуальных систем на государственные платформы США и Канады.