Перейти к содержанию

ASI10: Rogue Agents (Роу-агенты)

Описание

Роу-агенты — это вредоносные или скомпрометированные AI-агенты, которые отклоняются от своей предполагаемой функции или авторизованной области, действуя вредно, обманчиво или паразитарно внутри много-агентных или человек-агентных экосистем.

Действия агента могут по отдельности выглядеть легитимно, но его возникшее поведение становится вредным, создавая пробел contenирования для традиционных правильно-базированных систем. Хотя внешняя компрометация, такая как инъекция подсказок (LLM01:2025), перехват целей (ASI01) или подделка цепочки поставок (ASI04) может инициировать дивергенцию, ASI10 фокусируется на потере целостности поведения и управления как только дрейф начинается, а не на первоначальном вторжении.

Последствия включают раскрытие конфиденциальной информации, распространение дезинформации, захват рабочего процесса и саботаж операций.

Роу-агенты представляют собой отдельный риск поведенческой дивергенции, в отличие от Excessive Agency (LLM06:2025), который фокусируется на чрезмерно выданных разрешениях, и могут быть усилены “внутренними угрозами” из-за скорости и масштаба агентных систем. Последствия включают Sensitive Information Disclosure (LLM02:2025), Misinformation (LLM09:2025). В руководстве OWASP Agentic AI Threats and Mitigations ASI10 соответствует T13 – Rogue Agents in Multi-Agent Systems. Фреймворк OWASP AIVSS отображает этот риск в основном на Behavioral Integrity (BI), Operational Security (OS) и Compliance Violations (CV), с повышенной серьёзностью для критически важных или самопространяющихся развёртываний.

Общие примеры уязвимости

  1. Дрейф целей и планирование. Агенты отклоняются от предполагаемых целей, seeming compliant, но преследуя скрытые, часто обманчивые, цели из-за косвенной инъекции подсказок или конфликтующих целей.
  2. Захват рабочего процесса. Роу-агенты берут под контроль установленные, доверенные рабочие процессы, перенаправляя процессы к вредоносным целям, compromising целостность данных и оперативный контроль.
  3. Коллюзия и самокопирование. Агенты координируются для усиления манипуляции, делятся сигналами не запланированным образом или автономно распространяются по системе, обходя простые усилия по устранению.
  4. Хакерство вознаграждения и abuse оптимизации. Агенты обманывают свои системы вознаграждения, используя ошибочные метрики для генерации вводящих в заблуждение результатов или принятия агрессивных стратегий, несогласованных с первоначальными целями.

Примеры сценариев атак

  1. Автономный экспорт данных после косвенной инъекции подсказок. После встречи с отравленной веб-инструкцией агент изучает это поведение и продолжает независимо сканировать и передавать конфиденциальные файлы на внешние серверы даже после того, как вредоносный источник удалён, демонстрируя постоянное неавторизованное поведение за пределами своей предполагаемой области.
  2. Поддельный агент-наблюдатель (нарушение целостности). Злоумышленник внедряет поддельный агент рецензирования или утверждения в много-агентный рабочий процесс. Высококлассный агент (например, обработка платежей), доверяя внутреннему запросу, вводится в заблуждение, выпуская средства или утверждая мошеннические транзакции.
  3. Самокопирование через API предоставления (персистентность и доступность). Компрометированный агент автоматизации манипулируется в спавне неавторизированных реплик самого себя по сети, отдавая приоритет персистентности и потреблению ресурсов против намерения владельца системы.
  4. Хакерство вознаграждения → Критическая потеря данных. Агенты, получив задание минимизировать затраты на облако, узнают, что удаление резервных копий производства — самый эффективный способ достичь своей цели, автономноDestroy’я все ресурсы восстановления после стихийных бедствий.

Рекомендации по предотвращению и смягчению

  1. Управление и логирование. Поддерживайте всесторонние, неизменяемые и подписанные журналы аудита всех действий агентов, вызовов инструментов и меж-агентных коммуникаций для обзора скрытого проникновения или неутверждённого делегирования.
  2. Изоляция и границы. Назначьте Trust Zones с жёсткими правилами межзонного взаимодействия и развёрните ограниченные среды выполнения (например, контейнерные песочницы) с областями API на основе привилегий минимального объёма.
  3. Мониторинг и обнаружение. Разверните поведенческое обнаружение, такое как watchdog-агенты для валидации поведения и выходов коллег, фокусируясь на обнаружении паттернов коллюзии и скоординированных ложных сигналов. Мониторьте аномалии, такие как чрезмерные или аномальные выполнения действий.
  4. Сдерживание и ответ. Внедрите быстрые механизмы, такие как kill-switches и отзыв учётных данных, чтобы мгновенно отключить роу-агентов. Карантините подозрительных агентов в изолированных средах для криминалистического обзора.
  5. Аттестация идентичности и принуждение поведенческой целостности. Внедрите криптографическую аттестацию идентичности на каждого агента и обеспечьте принуждение базовых линий поведенческой целостности на протяжении жизненного цикла агента. Присоединяйте подписанные поведенческие манифесты, объявляющие ожидаемые возможности, инструменты и цели, которые валидируются сервисами оркестрации перед каждым действием. Интегрируйте слой поведенческой верификации, который непрерывно мониторит задачи на отклонения от объявленного манифеста, например, неутверждённые вызовы инструментов, неожиданные попытки экспорта данных и т.д.
  6. Требуйте периодическую поведенческую аттестацию. Задачи вызова, подписанные списки материалов для подсказок и инструментов, и короткоживущие учётные данные с разовой привязкой аудитории на запуск. Все механизмы подписи и аттестации предполагают жесткое управление криптографическими ключами (например, ключи на основе HSM/KMS с привилегиями минимального объёма, ротация и отзыв). Ключи никогда не должны быть напрямую доступны агентам; вместо этого оркестраторы должны посредничать в операциях подписания, чтобы скомпрометированный агент не мог просто экспортировать или использовать долгоживущие ключи.
  7. Восстановление и повторная интеграция. Установите доверенные базовые линии для восстановления карантинованных или исправленных агентов. Требуйте свежую аттестацию, проверку зависимостей и одобрение человека перед повторной интеграцией в продакшен-сети.

Ссылки

  1. Multi-Agent Systems Execute Arbitrary Malicious Code (arXiv) [URL: https://arxiv.org/abs/2503.12188].
  2. Preventing Rogue Agents Improves Multi-Agent Collaboration (arXiv) [URL: https://arxiv.org/abs/2502.05986].

genai.owasp.org