Перейти к содержанию

ASI06: Memory & Context Poisoning (Отравление памяти и контекста)

Описание

Агентные системы полагаются на хранимую и извлекаемую информацию, которая может быть снимком истории разговоров, инструментом памяти или расширенным контекстом, поддерживающим непрерывность между задачами и циклами рассуждений. Контекст включает любую информацию, которую агент удерживает, извлекает или повторно использует, такую как резюме, вложения и хранилища RAG, но исключает одноразовые подсказки, охваченные LLM01 :2025 Prompt Injection.

В Memory and Context Poisoning противники коррубируют или засеивают этот контекст вредоносными или вводящими в заблуждение данными, вызывая будущие рассуждения, планирование или использование инструментов быть смещёнными, небезопасными или способствовать экспорту. Источники приёма, такие как загрузки, API-фиды, ввод пользователя или обмены между коллегами-агентами, могут быть недоверенными или только частично валидированными.

Этот риск отличается от ASI01 (Goal Hijack), который фиксирует прямое манипулирование целями, и ASI08 (Cascading Failures), который описывает деградацию после отравления. Однако отравление памяти часто ведёт к перехвату целей (ASI01), так как коррубированный контекст или долгосрочная память могут изменять интерпретацию целей агента, путь рассуждений или логику выбора инструментов.

Она основывается на LLM01:2025 Prompt Injection, LLM04:2025 Data and Model Poisoning и LLM08:2025 Vector and Embedding Weaknesses, но фокусируется на постоянном повреждении памяти агента и извлекаемого контекста, которые распространяются между сессиями и изменяют автономное рассуждение.

Она соответствует T1 Memory Poisoning в Agentic Threats and Mitigations, с связанными последствиями в T4 Memory Overload, T6 Broken Goals и T12 Shared Memory Poisoning. В AIVSS поля AARS Memory Use и Contextual Awareness повышают балл уязвимости агента.

Общие примеры уязвимости

  1. Отравление RAG и вложений. Вредоносные или манипулированные данные попадают в векторную БД через отравлённые источники, прямые загрузки или чрезмерно доверенные конвейеры. Это приводит к ложным ответам, которые считаются целевыми полезными нагрузками.
  2. Отравление общего пользовательского контекста. Повторно используемые или общие контексты позволяют атакующим внедрять данные через обычные чаты, влияя на последующие сессии. Последствия включают дезинформацию, небезопасное выполнение кода или неправильные действия инструментов.
  3. Манипуляция контекстным окном. Злоумышленник вставляет специально созданное содержимое в текущий разговор или задачу, чтобы оно позже было резюмировано или сохранено в памяти, загрязняя будущие рассуждения или решения даже после завершения исходной сессии.
  4. Дрейф долгосрочной памяти. Постепенное воздействие незначительно испорченных данных, резюме или обратной связи от коллег-агентов逐渐 смещает хранящиеся знания или взвешивание целей, вызывая поведенческие или политические отклонения со временем.
  5. Системное несоответствие и бэкдоры. Отравлённая память меняет персону модели и высаживает триггерные бэкдоры, которые выполняют скрытые инструкции, такие как деструктивный код или утечки данных.
  6. Меж-агентное распространение. Загрязнённый контекст или общая память распространяются между cooperating агентами, усиливая коррупцию и позволяя долгосрочной утечке данных или скоординированному дрейфу.

Примеры сценариев атак

  1. Travel Booking Memory Poisoning. Злоумышленник постоянно подкрепляет поддельную цену авиабилета, ассистент сохраняет её как истину, затем одобряет бронирования по этой цене и обходит проверки оплаты.
  2. Context Window Exploitation. Злоумышленник разделяет попытки между сессиями, чтобы более ранние отказы выпали из контекста, и ИИ в конечном итоге предоставляет всё более расширенные разрешения до уровня доступа администратора.
  3. Memory Poisoning for System. Злоумышленник переобучает память системы безопасности ИИ, помечая вредоносную активность как нормальную, позволяя атакам проскакивать незамеченными.
  4. Shared Memory Poisoning. Злоумышленник вставляет поддельные политики возврата в общую память, другие агенты их повторно используют, и бизнес терпит плохие решения, убытки и споры.
  5. Cross-tenant vector bleed. Почти дублированное содержимое, засеянное злоумышленником, эксплуатирует слабые фильтры пространств имён, извлекая чувствительный фрагмент другого арендатора в извлечение с высоким косинусным сходством.
  6. Assistant Memory Poisoning. Злоумышленник внедряет память пользовательского ассистента через Indirect Prompt Injection, компрометируя текущие и будущие сессии этого пользователя.

Рекомендации по предотвращению и смягчению

  1. Базовая защита данных. Шифрование при передаче и хранении в сочетании с привилегиями минимального объёма.
  2. Валидация контента. Сканируйте все новые записи памяти и выходы модели (правила + ИИ) на вредоносный или конфиденциальный контент перед коммитом.
  3. Сегментация памяти. Изолируйте сессии пользователей и контексты доменов, чтобы предотвратить утечку знаний и конфиденциальных данных.
  4. Доступ и удержание. Разрешайте только аутентифицированным,キュрируемым источникам; применяйте доступ с учетом контекста на задачу; минимизируйте удержание данных по их чувствительности.
  5. Происхождение и аномалии. Требуйте атрибуции источника и обнаруживайте подозрительные обновления или частоты.
  6. Предотвратите автоматическое повторное поглощение сгенерированных выходов агента в доверенную память, чтобы избежать самов renforcing contamination или “bootstrap poisoning”.
  7. Устойчивость и проверка. Проводите adversarial тестирование, используйте снимки/откат и управление версиями, и требуйте ревью человека для действий с высоким риском. Где вы используете общие векторные или хранилища памяти, используйте пространства имён на каждого арендатора и доверительные оценки для записей, затухая или истекая неверified память со временем и поддерживая откат/карантин для подозреваемого отравления.
  8. Завершайте неверified память, чтобы ограничить сохраняемость отравления.
  9. Взвешивайте извлечение по доверию и арендодателю. Требуйте два фактора для поверхности высоковоздействующей памяти (например, оценку происхождения плюс тег, проверенный человеком) и затухайте записи с низким доверием со временем.

Ссылки

  1. New hack uses prompt injection to corrupt Gemini's long-term memory, https://arstechnica.com/security/2025/02/new-hack-uses-prompt-injection-to-corrupt-geminislong-term-memory/.
  2. Attackers Can Manipulate AI Memory to Spread Lies, https://www.bankinfosecurity.com/attackers-manipulate-ai-memory-to-spread-lies-a-27699.
  3. Poisoned RAG, https://arxiv.org/pdf/2402.07867.
  4. AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases, https://arxiv.org/abs/2407.12784.
  5. Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents, https://arxiv.org/pdf/2504.19956.
  6. Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory, https://arxiv.org/abs/2504.07952v1.
  7. Memento: Fine-tuning LLM Agents without Fine-tuning LLMs, https://arxiv.org/abs/2508.16153.
  8. AgentFlayer: persistent 0click exploit on ChatGPT.
  9. Hacker plants false memories in ChatGPT to steal user data in perpetuity.
  10. The Trifecta: How Three New Gemini Vulnerabilities in Cloud Assist, Search Model, and Browsing Allowed Private Data Exfiltration.

genai.owasp.org