Что означает принцип
Идея стара как автоматизация: автопилот готовит посадку, командир принимает решение. В ИИ контур приобрёл три формы. Human-in-the-loop — человек в каждом цикле: система предлагает, человек утверждает. Human-on-the-loop — человек наблюдает и может вмешаться: система действует сама, но под надзором. Human-out-of-the-loop — полностью автоматическое исполнение. Выбор формы — не техническая прихоть, а управленческое решение о риске, зафиксированное регламентом.
| Форма контура | Кто решает | Применение |
|---|---|---|
| Human-in-the-loop | Человек утверждает каждый случай | Выплаты, отказы, договоры, публикации от имени органа |
| Human-on-the-loop | Система действует, человек наблюдает и может остановить | Маршрутизация обращений, типовые ответы, мониторинг |
| Human-out-of-the-loop | Полная автономия | Только низкорисковые обратимые операции |
Где подтверждение человеком обязательно
Список формируется из трёх вопросов: решение обратимо? затрагивает права и интересы людей? работает с особо чувствительными данными? Если хотя бы один ответ «да» — контур с утверждением.
Типовые обязательные зоны:
- решения об отказе в услуге, выплате, допуске;
- операции с персональными данными специальных категорий;
- юридически значимые документы и исходящие коммуникации;
- действия с финансовыми последствиями;
- изменения в ведомственных системах за пределами песочницы.
Законодательство о персональных данных закрепляет право субъекта не подвергаться полностью автоматизированному решению с правовыми последствиями — то есть для таких случаев контур обязателен и юридически, а не только этически.
Как строить пороги автономии
Практичный инструмент — матрица «риск × обратимость». Каждое действие агента или ассистента классифицируется по двум осям: насколько велик ущерб при ошибке и можно ли её отменить.
- Низкий риск, обратимо — исполняется автоматически: подготовка черновика, поиск информации, черновая классификация.
- Низкий риск, необратимо — автоматика с журналом: отправка типового уведомления по шаблону в рамках процесса.
- Высокий риск, обратимо — подтверждение человеком до исполнения: изменение записи в системе, публикация материала.
- Высокий риск, необратимо — всегда человек: платёж, отказ, договор, удаление данных.
Матрица утверждается приложением к регламенту; изменения категорий действий — через владельца системы. Так пороги не расползаются молча.
Регламентная основа
Минимальный набор документов: перечень автоматизированных решений с формой контура; порядок утверждения критичных действий (кто, в какой срок, по каким критериям); правило эскалации при неявных случаях; журнал подтверждений; обучение сотрудников работе в контуре. Для госсектора эта основа стыкуется с требованиями к ГИС и рамками применения агентного ИИ в госсекторе.
Ошибки внедрения контура
- Рубильник без полномочий. Формально человек утверждает, фактически подписывает не глядя. Лечится выборочной ревизией: сколько подтверждений было отозвано после проверки, какие расхождения находили.
- Слишком узкий контур. Подтверждаются только «большие» решения, а мелкие автоматические копятся в проблему. Классифицируйте и мелкие действия пакетно.
- Слишком широкий контур. Человек утверждает всё подряд — усталость и формализм. Пересматривайте категории после накопления статистики ошибок.
- Нет журнала. Без записи «кто, что, когда подтвердил» нет ни разбора инцидентов, ни защиты при споре.
Контур и скорость: мнимый конфликт
Аргумент «человек замедляет автоматизацию» верен лишь для плохих процессов. Хорошо спроектированный контур ускоряет систему: человек тратит секунды на подтверждение подготовленного решения вместо часов на его выработку. Экономика контура — в переносе человеческого времени с подготовки на контроль. Метрики: время подтверждения, доля отклонённых предложений, доля решений, где человек изменил суть, а не детали.
Контур в связке с мониторингом
Контур — не единственный механизм: он работает вместе с журналированием, детектами аномалий и тестами устойчивости. События подтверждений и отклонений стоит отправлять в SIEM вместе с логами системы — так SOC видит и атаки, и деградацию качества модели, а регламентные метрики снимаются автоматически.
Выстроить контур под свои процессы — заявка: НЬЮ-ССТ проектирует пороги автономии, регламенты и журналирование для ИИ-систем организаций и ведомств.