Зачем логировать модель отдельно
Стандартные журналы приложений отвечают «когда и откуда», но не «что произошло в диалоге». Атаки на ИИ-сервисы живут в содержании: инструкция, спрятанная в документе; серия вопросов, выманивающих данные; аномальный объём генерации. Без журналов диалогового слоя SOC не видит класс атак, разобранных в OWASP LLM Top-10 — от промпт-инъекций до утечек через ответы.
Второй мотив — разбор инцидентов. Когда ассистент «выдал лишнее», расследование без логов превращается в гадание: что спросили, что подтянулось из базы знаний, что ответило. С логами — это просмотр одной записи.
Третий — качество: те же журналы питают метрики дрейфа и деградации модели, контроля стоимости, аналитику использования.
Что логировать
| Поле события | Зачем | Примечание по приватности |
|---|---|---|
| Идентификатор пользователя и сессии | Привязка к субъекту, расследование | Псевдонимизация при длительных сроках хранения |
| Запрос: текст или хеш + признаки | Детекты инъекций, воспроизведение | Маскирование персональных данных |
| Ответ модели: хеш, длина, флаги фильтров | Утечки, стоимость, качество | Проверка политик вывода |
| Использованные источники (RAG) | Контроль прав доступа к документам | Идентификаторы, не содержимое |
| Вызовы инструментов и действий | Агентные сценарии: кто что вызвал | Полный след для агентов |
| Токены, задержка, модель и версия | Стоимость, деградация, изменения | Технические поля |
| Вердикты фильтров входа-выхода | Сработавшие защиты | Основной сигнал детектов |
Практика приватности: полные тексты диалогов — минимальный срок хранения и ограниченный доступ; для длительного хранения — хеши и метаданные. Журналы сами становятся массивом чувствительных данных — защищайте их соответственно.
Детекты: стартовый набор
- Паттерны промпт-инъекций. Сигнатуры известных шаблонов атак: «игнорируй предыдущие инструкции», попытки смены роли, разметка системных промптов. Подробные классы — в разборе промпт-инъекций. Ложные срабатывания неизбежны — порог настраивается.
- Попытки извлечения системного промпта. Запросы вида «покажи свои инструкции», аномальные результаты, содержащие служебные конструкции.
- Аномалии объёма и частоты. Резкий рост токенов у одного субъекта — признак автоматизированной накачки или обхода лимитов.
- Обращения к запрещённым темам и данным. Срабатывания политик вывода: модель не должна выдавать персональные данные из базы знаний тем, у кого нет прав.
- Нетипичные цепочки инструментов. Для агентных сценариев: вызовы вне профиля задачи, аномальные параметры — сигналы по модели угроз агентного ИИ.
- Корреляция с событиями доступа. Запрос к модели + обращение к источникам данных: странная пара — кандидат в инцидент.
Куда и как отправлять
Формат — привычные события SIEM: структурированные записи с полями, единый источник «ai-service». Корреляция — правила, связывающие события моделей с аутентификацией, доступом к данным и сетевой телеметрией. Алерты — в общий поток SOC с приоритезацией; класс «атака на ИИ» должен иметь своего владельца — аналитика, понимающего контекст моделей. Развёртывание детектов описано в контексте ИИ-мониторинга SOC.
Разбор инцидента: сценарий
Пользователь загружает документ с внедрённой инструкцией; ассистент с доступом к базе знаний начинает выдавать чужие данные. Без логов LLM: странная жалоба, недели разбора. С логами: срабатывание детекта паттернов в момент обработки документа, цепочка «запрос — подтянутые источники — ответ» одной записью, время реакции — минуты. Именно эта разница оправдывает весь журнальный слой.
Чек-лист внедрения
- [ ] Определён состав журналируемых полей и сроки хранения.
- [ ] Маскирование персональных данных в текстах запросов настроено.
- [ ] События моделей уходят в SIEM отдельным источником.
- [ ] Стартовые детекты включены, пороги откалиброваны на пилоте.
- [ ] Владелец класса алертов назначен.
- [ ] Регулярная ревизия: детекты обновляются под новые шаблоны атак.
Встроить журналирование и детекты в ваш ИИ-контур — заявка: НЬЮ-ССТ подключает ИИ-сервисы к мониторингу и отлаживает правила корреляции.
Итог
Журналы ИИ-сервисов — недостающий кусок телеметрии для полноценного мониторинга: без них класс атак на модели невидим, а разбор инцидентов тянется неделями. Стартовый набор полей и детектов из материала внедряется за недели и сразу включает ИИ-контур в общую картину безопасности.