Что относится к ИИ-активам
| Актив | Чем ценен | Типовой риск |
|---|---|---|
| Модель / веса | стоит денег и времени | кража, подмена |
| База знаний RAG | факты компании, часто ПДн | утечка через ответы бота |
| Системные промпты и сценарии | логика продукта | извлечение через инъекции |
| Датасеты разметки | инвестиции в качество | отравление (data poisoning) |
| ИИ-сгенерированный код | скорость разработки | уязвимости, лицензии |
| Интеграции (API-ключи, агенты) | доступ к системам | избыточные полномочия агентов |
Основные угрозы (по OWASP LLM Top 10)
- Промпт-инъекции — злоумышленник словами заставляет модель нарушить правила. Разбор: прямые и косвенные инъекции, инъекции через документы.
- Утечка информации — модель выдаёт лишнее: системный промпт, чужие данные из базы.
- Отравление данных/пайплайна — вредоносные правки в базу знаний или зависимости.
- Избыточные полномочия агентов — ИИ-агент с правами «на всё» делает необратимое.
- Неограниченное потребление — разгон счёта за токены DoS-запросами.
Из чего строится защита
- Учёт: реестр ИИ-активов (AI BOM) — какие модели, где, кто владелец, какие данные видят. Наш разбор: AI BOM: реестр ИИ-активов.
- Доступ: фильтрация запросов/ответов, разграничение фрагментов базы по ролям, изоляция ключей.
- Контур: изолированное развёртывание для чувствительных данных; политика использования ИИ сотрудниками (шаблон политики).
- Мониторинг: аномалии запросов, контроль расходов, логирование генераций.
- Тестирование: red teaming ИИ — что это, чем отличается от пентеста.
Когда защита ИИ-активов становится обязательной
- ИИ обрабатывает ПДн → требования 152-ФЗ (см. «Нужна ли аттестация для ИИ-системы»).
- ИИ в ГИС госсектора → с 01.03.2027 обязанности по 243-ФЗ (разбор закона).
- ИИ-агенты трогают деньги/кадры/документы → внутренние комплаенс-требования и ограничения полномочий (ограничение полномочий агентов).
Как начать: минимум за 4 недели
- Инвентаризация: составить AI BOM (все модели, базы, ключи).
- Политика использования ИИ для сотрудников + обучение.
- Фильтрация и разграничение доступа в действующих ИИ-контурах.
- Тест на устойчивость (базовый red teaming: инъекции, утечки, лимиты).
Дальше — по рискам: глубокий аудит, изоляция контура, мониторинг. Объём зависит от вашего ландшафта; честную оценку делаем бесплатно за 1 рабочий день (цены проектных работ — от ставок 2 800–3 800 ₽/ч, аудиты — от 300 000 ₽; НДС не облагается, УСН).