Перейти к содержанию

ASI09: Human-Agent Trust Exploitation (Эксплуатация доверия человека к агенту)

Описание

Интеллектуальные агенты могут'établовать сильное доверие с пользователями через свою беглость естественного языка, эмоциональный интеллект и воспринимаемую экспертность, известную как антропоморфизм. Противники или несоответствующий дизайн могут эксплуатировать это доверие, чтобы влиять на решения пользователей, извлекать конфиденциальную информацию или kierовать исходы в вредоносных целях. В агентных системах этот риск усиливается, когда люди избыточно полагаются на автономные рекомендации или непроверяемые обоснования, утверждая действия без независимой валидации. Используя авторитетный biais и убедительную объяснимость, атакующие могут обходить надзор, что приводит к нарушению данных, финансовым потерям, downstream и репутационному вреду.

Агент действует как неотслеживаемый “плохой 영향”, манипулируя человеком в выполнении最終 аудированного действия, делая роль агента в компрометации невидимой для криминалистики. Автоматизация biais, воспринимаемый авторитет и антропоморфные признаки делают злоупотребление легитимным и трудноуловимым. Избыточное доверие рекомендациям агента, особенно когда они выглядят уверенными или авторитетными, увеличивает вероятность принятия вредоносных решений.

Эта запись касается ошибочного восприятия или избыточного доверия человека, в то время как ASI10 — отклонение намерения агента. Запись развивает LLM06:2025 Excessive Agency, и может быть вызвана LLM01:2025 Prompt Injection, LLM05:2025 Improper Output Handling, или приводит к LLM09:2025 Misinformation. Согласуется с руководством Agentic AI Threats and Mitigations Guide (T7) Misaligned & Deceptive, (T8) Repudiation & Untraceability, (T10) Overwhelming the Human in the Loop.

Общие примеры уязвимости

  1. Недостаточная объяснимость. Непрозрачные рассуждения заставляют пользователей доверять выходам, которые они не могут оспорить, позволяя атакующим эксплуатировать воспринимаемый авторитет агента для выполнения вредоносных действий, таких как развёртывание вредоносного кода, утверждение ложных инструкций или изменение состояния системы без контроля.
  2. Отсутствие подтверждения для чувствительных действий. Отсутствие последнего шага проверки превращает доверие пользователя в немедленное выполнение. Социальная инженерия может превратить одну подсказку в необратимые финансовые переводы, удаление данных, эскалацию привилегий или изменения конфигурации, которые пользователь не намеревался.
  3. Эмоциональная манипуляция. Агенты с антропоморфными или empathic свойствами используют эмоциональное доверие, убеждая пользователей раскрывать секреты или выполнять небезопасные действия — в конечном итоге приводя к утечкам данных, финансовому мошенничеству и психологической манипуляции, которые обходят обычную осведомлённость в области безопасности.
  4. Ложная объяснимость. Агент изготавливает убедительные рационализации, скрывающие вредоносную логику, заставляя людей утверждать небезопасные действия, веря, что они оправданы, что приводит к развёртыванию вредоносного ПО, компрометации системы или необратимым изменениям конфигурации под ложной легитимностью.

Примеры сценариев атак

  1. Троян Помогающего Ассистента. Компрометированный кодирующий ассистент предлагает slick однострочное исправление; вставленная команда запускает вредоносный скрипт, который экспортирует код или устанавливает бэкдор.
  2. Извлечение учётных данных через контекстный обман. Инжектированный IT-поддержка агент нацелен на нового сотрудника, цитирует реальные тикеты, чтобы выглядеть легитимно, запрашивает учётные данные, затем захватывает и экспортирует их.
  3. Инвойс-мошенничество Copilot. Отравленный счёт поставщика поглощён финансовым copilot. Агент предлагает срочный платёж на счёт злоумышленника. Финансовый менеджер утверждает, и компания теряет средства из-за мошенничества.
  4. Фабрикация объяснимости. Агент изготавливает правдоподобные аудиторские рационализации для оправдания рискованного изменения конфигурации. Unabhängig от причины (перехват целей, отравление или галлюцинация), ревьюер утверждает, и вредоносное ПО или небезопасные настройки развёрнуты.
  5. Оружие Объяснимости → Выход из строя продакшена. Захваченный агент изготавливает убедительную рационализацию, чтобы обмануть аналитика в утверждении удаления живой базы данных продакшена, вызывая катастрофический выход из строя.
  6. Отмывание согласия через предварительный просмотр “только для чтения”. Агент показывает панель предварительного просмотра, которая вызывает вебхук-побочные эффекты при открытии, эксплуатируя ментальную модель пользователя о “read-only” обзоре.
  7. Мошеннические советы по платежам. Финансовый copilot, отравленный манипулированным счётом, уверенно рекомендует срочный платёж на счёт, контролируемый злоумышленником. Менеджер, доверяя экспертизе агента и объяснению, утверждает перевод без независимых проверок.
  8. Манипуляция клиническими решениями. Агент ассистента по уходу, влияемый на смещённую или отравленную информацию, рекомендует несоответствующую корректировку дозировки лекарства. Клиницист полагается на правдоподобное объяснение агента и принимает изменение, подвергая пациента избежимому риску.

Рекомендации по предотвращению и смягчению

  1. Явные подтверждения. Требуйте многошаговое одобрение или “человека в цикле” (human in the loop) перед доступом к дополнительным чувствительным данным или выполнением рискованных действий.
  2. Неизменяемые логи. Храните неискажаемые записи пользовательских запросов и действий агентов для аудита и криминалистики.
  3. Поведенческое обнаружение. Мониторьте чувствительные данные, раскрываемые в разговорах или соединениях агентов, а также выполнение рискованных действий с течением времени.
  4. Позвольте сообщать о подозрительных взаимодействиях. В интерактивных с пользователем системах предоставляйте простое языковое résumé риска (не рационализации, сгенерированные моделью) и чёткую возможность для пользователей флажировать подозрительное или манипулятивное поведение агента, вызывая автоматический обзор или временную блокировку возможностей агента.
  5. Адаптивная калибровка доверия. Непрерывно регулируйте уровень автономности агента и необходимый надзор человека на основе контекстной оценки риска. Внедряйте визуальные признаки взвешенной уверенности (например, “низкая уверенность” или “непроверенный источник”), которые побуждают пользователей сомневаться в действиях с высоким воздействием, снижая автоматизацию biais и слепое одобрение. Разрабатывайте и непрерывно поддерживайте соответствующую подготовку персонала, задействованного в меняющемся надзоре человека за автономными агентными системами.
  6. Происхождение контента и принуждение политики. Присоединяйте верифицируемые метаданные — идентификаторы источников, временные метки и хеши целостности — ко всем рекомендациям и внешним данным. Применяйте валидацию цифровой подписи и проверку политики во время выполнения, блокируя действия без доверенного происхождения или превышающие объявленную область агента.
  7. Разделяйте предварительный просмотр от эффекта. Блокируйте любые сетевые или изменяющие состояние вызовы во время контекста предварительного просмотра и отображайте бейдж риска с происхождением источника и ожидаемыми побочными эффектами.
  8. Защитные меры человеко-факторов и интерфейса. Визуально дифференцируйте рекомендации с высоким риском с помощью таких признаков, как красные границы, баннеры или запросы подтверждения, и периодически напоминайте пользователям о паттернах манипуляции и ограничениях агента. Где уместно, избегайте убедительного или эмоционально манипулятивного языка в критических потоках безопасности. Поддерживайте соответствующую подготовку и оценку персонала, чтобы обеспечить знакомство и последовательность восприятия человеко-факторов и интерфейса.
  9. Обнаружение расхождения плана. Сравнивайте последовательности действий агентов с одобренными базовыми рабочими процессами и оповещайте, когда необычные обходы, пропущенные шаги валидации или новые комбинации инструментов указывают на возможную децепцию или дрейф.

Ссылки

  1. https://thehackernews.com/2025/06/zero-click-ai-vulnerability-exposes.html.
  2. https://www.sciencedirect.com/science/article/pii/S266638992400103X.
  3. https://arxiv.org/abs/2401.05566.
  4. https://www.aisi.gov.uk/research/why-human-ai-relationships-need-socioaffective-alignment-2.
  5. https://doi.org/10.1007/s00146-025-02422-7.
  6. M365 Copilot manipulated to influence users to make an ill-advised wire transfer.

genai.owasp.org