По словам главы блокчейн-аудитора безопасности CertiK, глобальная гонка по развертыванию автономных ИИ-агентов в интернете, корпоративных сетях и потребительских приложениях создает катастрофический долг безопасности.
Хотя компании амбициозно рекламируют эти инструменты как чудеса производительности, суровая реальность такова, что это может быть крайне рискованным шагом. Неизолированные и непроверенные ИИ-агенты — это масштабная катастрофа безопасности, ожидающая своего часа, заявил соучредитель и генеральный директор CertiK Ronghui Gu в интервью CoinDesk.
Gu предупредил, что пользователи потенциально предоставляют доступ к своим самым конфиденциальным файлам, локальным учетным данным и финансовым счетам автономным системам, которыми легко манипулировать, взломать и открыто обмануть.
«Сейчас агенты больше не просто отвечают на вопросы в окне чата, — сказал Gu CoinDesk после выпуска знакового глубокого отчета CertiK об инфраструктуре агентов. — Они начинают вызывать внешние инструменты, читать локальные файлы, запускать рабочие процессы и взаимодействовать с финансовой инфраструктурой. Но если вы не изолируете среду выполнения и предварительно не просканируете эти инструменты, вы предоставляете скомпрометированной учетной записи широкий внутренний доступ ко всей вашей сети».
По словам Gu, фундаментальная ошибка текущего бума ИИ-агентов заключается в ошибочной модели доверия.
Чарльз Хоскинсон, основатель и генеральный директор Input Output (Cardano), заявил, что к 2035 году они станут более значимыми в интернете, чем люди. Генеральный директор Coinbase Брайан Армстронг недавно отметил, что «очень скоро ИИ-агентов, совершающих транзакции, будет больше, чем людей», а основатель Binance Чанпэн Чжао предсказал, что они «будут осуществлять в миллион раз больше платежей, чем люди».
Ультимативная внутренняя угроза
Gu отметил, что многие популярные приложения с открытым исходным кодом для ИИ создаются исходя из предположения, что, поскольку они работают локально на компьютере пользователя или подключаются через стандартные приложения для обмена сообщениями, такие как WhatsApp, они защищены от внешних угроз.
На самом деле все совершенно иначе, подчеркнул он. В тот момент, когда пользователь предоставляет ИИ-агенту разрешение на чтение локального хранилища системы, просмотр истории выполнения или управление учетными данными личной почты и бизнес-баз данных, этот агент становится ультимативной внутренней угрозой.
Недавний анализ CertiK ранних, быстро растущих структур агентов выявил поразительное накопление уязвимостей безопасности, включая сотни критических рекомендаций по безопасности, неустраненные распространенные уязвимости и экспозиции (CVE), а также массовые утечки локальных учетных данных и данных сессий из-за полностью несогласованных проверок границ.
Еще более тревожным, по словам Gu, является то, насколько легко эти автономные системы могут быть полностью перенаправлены на уровне рассуждений без написания ни одной строки вредоносного кода.
Он добавил, что с помощью базовых атак «инъекции промптов» злоумышленник может внедрить скрытые инструкции на естественном языке в безобидную веб-страницу, PDF-документ или входящее электронное письмо.
Gu объяснил, что когда неизолированный ИИ-агент читает этот файл для выполнения задачи пользователя, он не отделяет доверенные системные команды от ненадежных внешних данных. Затем агент незаметно перезаписывает свои исходные правила, подчиняется вредоносной инструкции и может быть вынужден эксфильтровать данные или инициировать несанкционированные переводы средств.
Сверхбыстрые эксплойты
Gu раскрыл, что CertiK обнаружила сотни вредоносных навыков, фальшивых установщиков и пакетов-двойников зависимостей, размещенных непосредственно в открытых хабах утилит для агентов. Поскольку эти вредоносные плагины используют стандартный естественный язык для тонкого влияния на поведение агента и изменения его целей, они полностью обходят традиционное антивирусное программное обеспечение, основанное на сигнатурах.
«Приложения-мошенники используют естественный язык для влияния на поведение, что делает их полностью устойчивыми к традиционным антивирусным сканерам, — пояснил Gu. — И сейчас обмануть машину даже проще, чем человека».
В том, что Gu описывает как причудливую эволюцию финансовых преступлений, телеметрия CertiK зафиксировала взрывной рост автоматизированных мошеннических схем в блокчейне, которые работают всего 10 минут или несколько часов, а затем полностью исчезают.
Эти сверхбыстрые, эфемерные эксплойты специально разработаны хакерами для нацеливания и обмана других автономных ИИ-торговых ботов и автоматизированных агентских систем, осуществляя вывод средств от машины к машине до того, как человек осознает, что произошел взлом.
Gu заявляет, что индустрии программной инженерии необходимо полностью отказаться от полагания на взаимодействия, основанные на доверии, и немедленно перейти к изолированной архитектуре «нулевого доверия» (Zero Trust), где каждая команда и зависимость постоянно проверяются.