Перейти к содержанию

ASI08: Cascading Failures (Каскадирующие сбои)

Описание

Агентные каскадирующие сбои происходят, когда неисправность (галлюцинация, вредоносный ввод, скомпрометированный инструмент или отравленная память) распространяется между автономными агентами, усугубляясь до всесистемного вреда. Поскольку агенты планируют, сохраняют и делегируют автономно, отдельная ошибка может обойти пошаговые проверки человека и сохраниться в сохранённом состоянии. По мере того как агенты формируют новые связи с инструментами или коллегами, эти латентные неисправности цепляются в привилегированные операции, compromising конфиденциальность, целостность и доступность, что приводит к широкомасштабным сбоям услуг в сетях агентов, системах и рабочих процессах.

Cascading Failures описывает распространение и усиление изначальной неисправности — а не саму уязвимость — между агентами, инструментами и рабочими процессами, превращая одну ошибку во всесистемное воздействие.

ASI08 фокусируется на распространении и усилении недостатков, а не на их источнике. Используйте первоначальный дефект под ASI04, ASI06 или ASI07, когда он представляет собой прямую компрометацию — такую как загрязнённая зависимость, отравленная память или поддельное сообщение — и применяйте ASI08 только тогда, когда этот дефект распространяется между агентами, сессиями или рабочими процессами, вызывая измеримый fan-out или системное воздействие за пределами изначального нарушения.

Наблюдаемые симптомы включают быстрый fan-out, где одно неверное решение запускает множество downstream агентов или задач в короткое время, меж-доменное или меж-арендаторное распространение за пределы исходного контекста, осциллирующие повторы или циклы обратной связи между агентами, и downstream очередь шторма или повторяющиеся одинаковые интенты — каждый предоставляет явные крючки обнаружения, которые делают ASI08 оперативно применимым.

Каскадирующие сбои усиливаются через взаимосвязанных агентов, цепляя риски OWASP LLM Top 10. LLM01:2025 Prompt Injection и LLM06:2025 Excessive Agency могут запускать автономные запуски инструментов, которые распространяют ошибки без проверок человека, в то время как LLM04:2025 Data and Model Poisoning в постоянной памяти может смещать решения между сессиями и рабочими процессами. Руководство Agentic AI - Threats and Mitigations 1.1 охватывает эту угрозу в T5 – Cascading Hallucination Attacks, в то время как T8 – Repudiation and Untraceability подчёркивает фундаментальную защиту: возможность отслеживать, атрибутировать и аудитировать каскадирующее поведение с помощью устойчивого логирования и механизмов неотказуемости, которые предотвращают молчаливое распространение. Однако эти усугубляющие угрозы иллюстрируют потенциальное несоответствие в скорости и масштабе распространения неисправностей в много-агентной системе и способности людей идти в ногу с ними, чтобы обеспечить безопасную и эффективную работу системы. Это оставляет некоторые неснижаемые риски, которые предприятие должно тщательно оценить, чтобы убедиться, что они находятся в пределах общего бюджета рисков организации.

Общие примеры уязвимости

  1. Связь планировщик–исполнитель. Галлюцинирующий или скомпрометированный планировщик испускает небезопасные шаги, которые исполнитель автоматически выполняет без валидации, умножая воздействие между агентами.
  2. Повреждённый постоянный. Отравленные долгосрочные цели или записи состояния продолжают влиять на новые планы и делегирования, распространяя ту же ошибку даже после того, как исходный источник исчез.
  3. Меж-агентные каскады от отравлённых сообщений. Одно повреждённое обновление заставляет коллег-агентов действовать на основе ложных оповещений или инструкций перезагрузки, распространяя сбои по регионам.
  4. Каскадное misuse инструментов и эскалация привилегий. Неправильное использование одним агентом интеграции или повышенных учётных данных приводит downstream агентов к повторению небезопасных действий или утечке унаследованных данных.
  5. Авторазвёртывание каскада от загрязнённого обновления. Отравленное или неисправное releases, thrustнутое оркестратором, распространяется автоматически на все подключённые агенты, усиливая нарушение за пределами своего происхождения.
  6. Каскад дрейфа управления. Человеческий надзор ослабляет после повторных успехов; массовые одобрения или смягчения политик распространяют неконтролируемый конфигурационный дрейф между агентами.
  7. Усиление цикла обратной связи. Двое или более агентов полагаются на выходы друг друга, создавая самовосполняющийся цикл, который увеличивает начальные ошибки или ложноположительные результаты.

Примеры сценариев атак

  1. Финансовый торговый каскад. Инъекция подсказок (LLM01:2025) отравляет агента анализа рынка, завышая лимиты риска; агенты позиции и исполнения автоматически торгуют большими позициями, а комплаенс остается вслепую к деятельности “внутри параметров”.
  2. Распространение протокола в здравоохранении. Подделка цепочки поставок (ASI04) коррубирует данные о лекарствах; лечение автоматически корректирует протоколы, а координация ухода распространяет их по всей сети без проверки человека.
  3. Разрыв orkestровки в облаке. Отравление (LLM04:2025) в планировании ресурсов добавляет неавторизованные разрешения и надутие; безопасность применяет их, а развёртывание предоставляет бэкдорный, дорогостоящий инфраструктурный без одобрения на каждое изменение.
  4. Компрометация операций безопасности. Украденные учётные данные сервиса — через LLM06:2025 и LLM03:2025 — заставляют системы обнаружения помечать реальные оповещения как ложные, реагирование отключает контроль и очищает логи, а комплаенс сообщает чистые метрики.
  5. Сбой управления качеством (QC) в производстве. Инъекция памяти (ASI06) с отравленными знаниями (LLM08:2025) заставляет QC одобрять дефекты и отказывать качественным товарам; инвентарь и планирование оптимизируются на плохих данных, вызывая дефектные поставки и убытки.
  6. Цикл обратной связи автоисправления. Агент исправления подавляет оповещения, чтобы соответствовать SLA задержки; агент планирования интерпретирует fewer оповещения как успех и расширяет автоматизацию, потенциально усугубляя слепые зоны по регионам.
  7. Региональный сбой DNS в облаке гиперскейлера. Может одновременно сломать несколько сервисов ИИ, которые от него зависят, вызывая каскад сбоев агентов во многих организациях.
  8. Киберзащитные системы и межмэжеры агентов. Распространение галлюцинации о предстоящей атаке или введённый ложный оповещение распространяется в базовых много-агентных системах, вызывая ненужные, но katastroфические защитные действия, такие как остановки, отказы и отключения сети.

Рекомендации по предотвращению и смягчению

  1. Модель Zero Trust в дизайне приложения. Проектируйте систему с устойчивостью к сбоям, предполагая недоступность компонентов LLM:2025, агентных функций и внешних источников.
  2. Изоляция и границы доверия. Песочница агентов, привилегии минимального объёма, сегментация сети, API с ограниченной областью и взаимная аутентификация для сдерживания распространения сбоя.
  3. JIT, разовый доступ к инструментам с проверками во время выполнения. Выдавайте краткосрочные учётные данные с ограниченной областью для каждого запуска агента и валидируйте каждый вызов инструмента с высоким воздействием по правилам политики-as-code до выполнения. Это гарантирует, что скомпрометированный или drifting агент не может спровоцировать цепные реакции между другими агентами или системами.
  4. Независимое принуждение политики. Отделите планирование и выполнение с помощью внешнего ядра политики, чтобы предотвратить запуск вредоносных действий коррубированным планированием.
  5. Валидация вывода и человеческие шлюзы. Контрольные точки, агент управления или ревью человека для высоковоздействующих действий перед распространением выходов агентов downstream.
  6. Ограничение частоты и мониторинг. Обнаруживайте быстро распространяющиеся команды и дросселируйте или приостанавливайте на аномалии. Внедряйте барьеры радиуса поражения, такие как квоты, лимиты прогресса, автоматические выключатели между планировщиком и исполнителем.
  7. Обнаружение поведенческого и управленческого дрейфа. Отслеживайте решения по сравнению с базовыми линиями и выравниванием; помечайте постепенную деградацию.
  8. Цифровой двойник воспроизведения и шлюз политики. Перезапустите последние недели записанных действий агентов в изолированном клоне продакшен-среды, чтобы проверить, вызовет бы та же последовательность каскадирующие сбои. Блокируйте любое расширение политики на этих тестах воспроизведения, проходящих предопределенные лимиты радиуса поражения, перед развёртыванием.
  9. Логирование и неотказуемость. Записывайте все меж-агентные сообщения, решения политики и результаты выполнения в неизменяемые, с временной меткой логи, привязанные к криптографическим личностям агентов. Поддерживайте метаданные линейности для каждого распространённого действия для поддержки криминалистической прослеживаемости, валидации отката и подотчётности во время каскадов.

Ссылки

  1. https://sre.google/sre-book/addressing-cascading-failures/.
  2. https://cwe.mitre.org/data/definitions/400.html.

genai.owasp.org