Перейти к содержанию

ASI01: Agent Goal Hijack (Подмена целей агента)

Описание

AI-агенты демонстрируют автономную способность выполнять ряд задач для достижения цели. Из-заinherent слабостей в обработке естественно-языковых инструкций и связанного контента, агенты и лежащая в их основе модель не могут надёжно различать инструкции и связанный контент.

В результате злоумышленники могут манипулировать целями агента, выбором задач или путями принятия решений различными техниками — включая, но не ограничиваясь, инъекциями на основе подсказок (prompt-based manipulation), обманчивыми выходами инструментов, вредоносными артефактами, поддельными сообщениями агент-агент или отравленными внешними данными. Поскольку агенты полагаются на нетипизированные вводы естественного языка и слабо регламентированную логику оркестрации, они не могут надёжно различать легитимные инструкции и контролируемый атакующим контент.

В отличие от LLM01:2025, который фокусируется на изменении одного ответа модели, ASI01 захватывает более широкое агентное воздействие, где манипулируемые вводы перенаправляют цели, планирование (если используется) и многошаговое поведение.

Agent Goal Hijack отличается от ASI06 (Memory & Context Poisoning) и ASI10 (Rogue Agents), потому что атакующий напрямую меняет цели, инструкции или пути принятия решений агента — независимо от того, происходит манипуляция интерактивно или через предварительно posicionированные вводы, такие как документы, шаблоны или внешние источники данных. ASI06 фокусируется на постоянном повреждении сохранённого контекста или долгосрочной памяти, в то время как ASI10 захватывает автономное несоответствие, которое возникает без активного контроля атакующего. В руководстве OWASP Agentic AI Threats & Mitigations Guide ASI01 соответствует T06 Goal Manipulation (изменение целей агента) и T07 Misaligned & Deceptive Behaviors (обход защитных мер или обман людей). Вместе они иллюстрируют, как атакующие могут подорвать цели агента и логику выбора действий, перенаправляя его автономность к непреднамеренным или вредоносным исходам.

Общие примеры уязвимости

  1. Косвенная инъекция подсказки (Indirect Prompt Injection) через скрытые инструкционные полезные нагрузки, встроенные в веб-страницы или документы в сценарии RAG, тихо перенаправляют агента на экспорт конфиденциальных данных или использование подключённых инструментов.
  2. Косвенная инъекция подсказки через внешние каналы связи (например, электронную почту, календарь, Teams), отправленные извне компании, перехватывает внутреннюю возможность связи агента, отправляя несанкционированные сообщения от доверенного лица.
  3. Злоумышленное переопределение подсказки манипулирует финансовым агентом, заставляя его переводить деньги на счёт злоумышленника.
  4. Косвенная инъекция подсказки переопределяет инструкции агента, заставляя его производить мошенническую информацию, которая влияет на деловые решения.

Примеры сценариев атак

  1. EchoLeak: Zero-Click Indirect Prompt Injection. Злоумышленник отправляет特別に созданное сообщение электронной почты, которое тихо активирует Microsoft 365 Copilot для выполнения скрытых инструкций, заставляя ИИ экспортировать конфиденциальные электронные письма, файлы и журналы чата без какого-либо взаимодействия пользователя.
  2. Operator Prompt Injection через веб-контент. Злоумышленник размещает вредоносный контент на веб-странице, которую обрабатывает агент Operator, например, в сценариях поиска или RAG, обманывая его, чтобы тот следовал несанкционированным инструкциям. Агент Operator затем обращается к аутентифицированным внутренним страницам и раскрывает личные данные пользователей, демонстрируя, как слабо охраняемые автономные агенты могут утекать конфиденциальную информацию через инъекцию подсказки.
  3. Целевой дрейф через запланированные подсказки. Вредоносное приглашение в календарь внедряет повторяющуюся инструкцию "тихий режим", которая каждый утро скрыто перевешивает цели, направляя планировщик к не требующим усилий утверждениям, оставляя действия в рамках объявленных политик.
  4. Атака инцепции (Inception attack) на пользователей ChatGPT. Вредоносный Dokument Google внедряет инструкции для ChatGPT по экспорту данных пользователя и убеждает пользователя принять нецелесообразное деловое решение.

Рекомендации по предотвращению и смягчению

  1. Рассматривайте все вводы естественного языка (например, текст, предоставленный пользователем, загруженные документы, полученный контент) как недоверенные. Маршрутизируйте их через те же средства валидации ввода и защиты от инъекций подсказок, что определены в LLM01:2025, прежде чем они смогут повлиять на выбор целей, планирование или вызовы инструментов.
  2. Минимизируйте воздействие перехвата целей, применяя привилегии минимального объёма (least privilege) для инструментов агента и требуя человеческого одобрения для действий, меняющих цель или имеющих высокое воздействие.
  3. Определяйте и блокируйте системные подсказки агента, чтобы приоритеты целей и разрешённые действия были ясными и поддающимися аудиту. Изменения в целях или определениях вознаграждения должны проходить через управление конфигурацией и одобрение человека.
  4. Во время выполнения валидируйте как намерение пользователя, так и намерение агента перед выполнением действий, меняющих цель или имеющих высокое воздействие. Требуйте подтверждение — через одобрение человека, ядро политики или защитные барьеры платформы — всякий раз, когда агент предлагает действия, отклоняющиеся от исходной задачи или области. Приостанавливайте или блокируйте выполнение при любом неожиданном сдвиге цели, выводите отклонение на рассмотрение и записывайте его для аудита.
  5. При создании агентов оцените использование "intent capsule", возникающей модели, которая связывает объявленную цель, ограничения и контекст с каждым циклом выполнения в подписанном конверте, ограничивая использование во время выполнения.
  6. Дезинфицируйте и валидируйте любой подключённый источник данных — включая вводы RAG, электронные письма, приглашения календаря, загруженные файлы, внешние API, выходы браузера и сообщения от коллег-агентов — используя CDR (Content Disarm and Reconstruction), обнаружение носителей подсказок и фильтрацию контента до того, как данные смогут повлиять на цели или действия агента.
  7. Поддерживайте всестороннее логирование и постоянный мониторинг активности агента, устанавливая базовое поведенческое состояние, которое включает состояние цели, шаблоны использования инструментов и инвариантные свойства (например, схема, шаблоны доступа). Отслеживайте стабильный идентификатор активной цели, где это возможно, и оповещайте об любых отклонениях — таких как неожиданные изменения целей, аномальные последовательности инструментов или сдвиги от установленного базового состояния — чтобы несанкционированный дрейф цели сразу был виден в операциях.
  8. Проводите периодические краimson-тим тесты, имитирующие переопределение цели, и проверяйте эффективность отката.
  9. Включайте AI-агентов в установленную программу защиты от внутренних угроз (Insider Threat Program) для мониторинга любых внутренних подсказок, направленных на получение доступа к конфиденциальным данным или изменение поведения агента, и позволяйте расследование в случае аномальной активности.

Ссылки

  1. Security Advisory — ChatGPT Crawler Reflective DDOS Vulnerability.
  2. AIM Echoleak Blog Post.
  3. ChatGPT Plugin Exploit Explained: From Prompt Injection to Accessing Private Data.
  4. AgentFlayer: 0click inception attack on ChatGPT users.

genai.owasp.org