Почему агенты меняют карту рисков
У чат-бота поверхность атаки — текстовый ответ. У агента — исполняемые действия: запросы к базам, отправка писем, вызов API, изменение записей. Три следствия. Первое: цена успешной атаки растёт от «получен неверный ответ» до «испорчены данные или утечка». Второе: атаковать можно не только промптом пользователя, но и содержимым документов, которые агент читает. Третье: в мультиагентных цепочках ошибка одного звена каскадно распространяется на остальных.
Карта угроз: пять доменов
1. Атаки на вход
Промпт-инъекция — внедрение инструкций в данные, которые обрабатывает модель. Для агентов критичны непрямые инъекции: вредоносная строка в PDF, веб-странице или записи базы, которую агент читает по ходу задачи, меняет его поведение. Классы атак и защиты детально разобраны в обзоре промпт-инъекций и OWASP LLM Top-10.
2. Чрезмерные права
Агенту часто дают права «на всякий случай» — доступ ко всей базе, право отправки писем без ограничений, административные токены. Принцип минимальных привилегий: агент получает только то, что нужно сценарию, на ограниченное время, с отдельной учётной записью. Компромат: правило OWASP LLM06 об избыточных полномочиях — стандарт де-факто для аудитов ИИ-систем.
3. Злоупотребление инструментами
Инструменты агента — API, командная строка, файловая система. Угрозы: вызов инструмента с вредоносными параметрами, цепочка легитимных вызовов с вредоносным итогом, использование инструмента не по назначению. Меры: allow-list действий и команд, подтверждение человеком опасных операций, ограничение диапазонов параметров.
4. Цепочки и зависимости
В мультиагентных системах и при подключении внешних протоколов инструментов появляются риски подмены: злонамеренный сервер инструмента, конфликт описаний функций, «путаница полномочий» между агентами. Меры: верификация источников инструментов, контроль версий и подпись конфигураций, изоляция сред выполнения.
5. Непрозрачность действий
Без журналирования разбор инцидента невозможен. Минимальный журнал шага агента: цель, план, инструмент, входные данные, результат, решение о продолжении. Логи — в SIEM; корреляционные правила для ИИ-событий разбираются в материале о логах LLM.
Матрица риска: вероятность и ущерб
| Угроза | Вероятность | Потенциальный ущерб | Приоритет мер |
|---|---|---|---|
| Непрямая промпт-инъекция через документы | Высокая | Утечка данных, неверные действия | Фильтрация входов, изоляция |
| Избыточные права агента | Средняя | Массовое изменение данных | Минимальные привилегии |
| Злоупотребление инструментом | Средняя | Инцидент в смежной системе | Allow-list, подтверждения |
| Подмена источника инструментов | Ниже средней | Полная компрометация агента | Верификация, подписи |
| Отсутствие журналов | Гарантированная | Невозможность разбора | Журналирование с первого дня |
Оценки вероятности — экспертные ориентиры для приоритизации, не статистика инцидентов: закрытая экосистема кейсов не даёт публичных цифр.
Контрольный список перед пилотом
- [ ] Описан сценарий агента: цели, инструменты, границы, критичные действия.
- [ ] Права: отдельная учётная запись, минимальные привилегии, срок действия.
- [ ] Входы: источники данных классифицированы, внешние документы проходят фильтрацию.
- [ ] Действия: allow-list, пороги автономии, подтверждение человеком критичных операций.
- [ ] Журналы: каждый шаг логируется и уходит в SIEM.
- [ ] Тесты: прогон сценариев атак, включая тесты устойчивости к инъекциям.
- [ ] План реагирования: кто и что делает при аномальном поведении агента.
Организационный слой
Технологии не работают без правил. Назначьте владельца агента — человека, отвечающего за сценарий и права; пропишите регламент изменения прав и инструментов; включите агентов в реестр ИИ-активов; договоритесь о периодических тестах с внешней командой — формат ИИ-RED переносит практику red teaming на агентные системы. Для госсектора дополнительные рамки задают границы применения ИИ в ГИС и принципы человека-в-контуре.
Что изменится к 2027 году
Три тренда уже видны: стандартизация тестирования агентных систем (профильные списки рисков дополняются агентными сценариями), рост числа корпоративных пилотов с реальными доступами — и вместе с ним спрос на аудит прав и журналов; появление отраслевых практик регламентов автономии. Организация, встроившая контрольную дисциплину до масштабирования, встречает эти тренды готовой.
Проверьте своего агента до того, как это сделают другие: оставьте заявку на моделирование угроз и тестирование агентного контура.