Откуда вообще утекают данные в ИИ-системах
Утечка редко выглядит как «взлом нейросети». В корпоративной практике это цепочка банальных событий: сотрудник вставляет клиентскую базу в публичный чат-бот; промпт-инъекция вытягивает системную инструкцию; ассистент отвечает одному пользователю фрагментом документа, предназначенного другому; забытый API-ключ открывает внешний доступ к базе знаний.
Эти сценарии систематизированы в открытом каталоге OWASP LLM Top-10 — международном списке главных рисков приложений на языковых моделях. Ключевые позиции для бизнеса:
- промпт-инъекции — скрытые команды в тексте, которые меняют поведение модели;
- утечка информации — конфиденциальные данные в ответах или логах;
- чрезмерные полномочия — ассистент имеет доступ, который ему не нужен;
- отравление данных — вредоносный контент в базе знаний;
- утечка системного промпта — раскрытие логики и правил системы.
Технические меры защиты
- Закрытый контур. Модель и векторная база — на вашей инфраструктуре; для чувствительных данных это мера по умолчанию.
- Фильтры на входе и выходе. Маскирование персональных данных в промптах, блокировка секретов в ответах.
- Разграничение доступа. Право увидеть фрагмент документа наследуется от прав на исходный документ, а не выдаётся всем подряд.
- Журналирование. Каждый запрос фиксируется: кто, что спросил, какой фрагмент был использован.
- Защита от инъекций. Разделение системных инструкций и пользовательского ввода, тесты на устойчивость.
Как эти меры выглядят на практике для конкретных атак — разобрано в статье «Как защитить LLM от промпт-инъекций» и в обзоре OWASP LLM Top-10.
Организационные меры
Половина утечек — организационная, а не техническая проблема. Минимальный набор: регламент использования ИИ (что можно вводить в какие системы), перечень разрешённых сервисов, обучение сотрудников и процедура реакции на инцидент. Обнаружением теневого использования нейросетей занимается отдельная дисциплина — разбор в материале «Как обнаружить Shadow AI», а готовый шаблон правил — политика использования ИИ для сотрудников.
Как проверить, что защита работает
Доверять нельзя даже своей архитектуре — нужно проверять атаками. Для этого существует ИИ red teaming: специалисты имитируют атаки на вашу систему — инъекции, попытки выудить данные, обход ограничений — и оформляют отчёт с уязвимостями и рекомендациями. В отличие от классического пентеста, здесь тестируется не только периметр сети, но и поведение самой модели. Разница методов — в сравнении red teaming и пентеста.
Сколько стоит защита
| Услуга | Цена «от» | Результат |
|---|---|---|
| Ревизия ИИ-системы | 70 000 ₽ | Реестр ИИ-активов и пробелов в защите |
| Аудит ИИ с регламентом | 150 000 ₽ | Отчёт и регламент LLM, 1–2 недели |
| ИИ red teaming | 300 000 ₽ | Проверка атаками, план устранения |
| Сопровождение | 60 000 ₽/мес | Мониторинг и обновление мер |
Полный пакет защиты ИИ — от 400 000 ₽, в пакеты входят AI BOM (реестр компонентов) и проверка по OWASP LLM Top-10 (сентябрь 2026, без НДС в связи с УСН). Заказать можно на странице услуги защиты ИИ-разработок. Другие вопросы безопасности — в разделе «Вопросы и ответы».
Порядок действий при подозрении на инцидент
Защита — это ещё и готовность к плохому сценарию. Если появилась информация, что данные из ИИ-системы попали не туда, действуйте по заранее написанному плану:
- Фиксация. Сохраните журналы запросов и ответов за предполагаемый период — до любых других действий;
- Изоляция. Ограничьте доступ подозрительного канала: отключите утечный токен, приостановите интеграцию;
- Оценка. Определите категорию и объём данных: были ли персональные — от этого зависят сроки уведомления Роскомнадзора (24 часа на факт, 72 часа на расследование по 152-ФЗ);
- Уведомление. При подтверждённой утечке ПДн — в установленные сроки, без отсрочек «до выяснения»;
- Устранение и разбор. Закройте вектор атаки, обновите регламент и фильтры, проведите повторный тест.
Именно наличие такого плана отличает управляемый инцидент от катастрофы: шаги выполняются по часам, а не изобретаются в панике. Мы включаем разработку плана реагирования в аудит ИИ-систем (от 150 000 ₽) и отрабатываем его сценарии на red teaming — чтобы первый запуск процедуры случился не на реальной утечке.