Что означает «человек в контуре»
Human-in-the-loop — схема, в которой решение или действие ИИ на определённом шаге требует участия человека: проверить черновик, подтвердить операцию, разобрать сложный случай. Модель при этом делает основную работу — ищет, собирает, формулирует, — а человек оставляет за собой финальную точку контроля там, где цена ошибки высока.
Это не «недоверие к ИИ», а распределение ответственности. Языковая модель не несёт ответственности за отправленное письмо; несёт компания. Контур с человеком фиксирует, кто и что утвердил, — и превращает ИИ из «чёрного ящика» в подконтрольный инструмент.
Где человек обязателен, а где нет
| Операция | Режим | Пример |
|---|---|---|
| Массовые типовые ответы | Автоматически | Статус заказа, график работы, ответы по базе знаний |
| Черновики документов | Человек проверяет | Проект договора, ответ на обращение, тендерная заявка |
| Действия с деньгами и данными | Человек подтверждает | Проводка, изменение доступа, отправка персональных данных |
| Спорные и чувствительные случаи | Эскалация человеку | Жалоба, конфликт, вопрос вне базы знаний |
Три причины, почему без человека не работает
- Галлюцинации неустранимы полностью. Модель уверенно отвечает даже там, где данных нет; финальная проверка — последний барьер перед клиентом.
- Требования госсектора. Для ИИ-систем в госсекторе человек-в-контуре входит в стандартный набор требований вместе с закрытым контуром и аттестацией.
- Эволюция базы знаний. Именно человек, разбирая эскалированные вопросы, находит пробелы в базе знаний и пополняет её — система учится на разборах, а не на ошибках в проде.
В списке типичных ошибок внедрения ИИ «система без человека в контуре и регламента» стоит рядом со стартом без аудита данных: экономия на контроле возвращается переделками и репутационными потерями.
Как проектируется контур
Практический подход: на пилоте — от 480 000 ₽ за 4–6 недель — фиксируются метрики (доля автоматических ответов, точность поиска, экономия часов) и правила эскалации. Часть вопросов закрывается автоматически, часть уходит людям, и граница проводится по цене ошибки, а не по вере в технологии. Со временем доля автоматических ответов растёт — по мере того, как метрики доказывают надёжность.
Как оформить эскалацию
Правила передачи вопросов человеку пишутся так же, как должностные инструкции: какие признаки отправляют диалог сотруднику (спор, жалоба, отсутствие данных в базе, вопрос о деньгах), в какой срок ответ должен быть дан, кто отвечает в нерабочее время. Без этих деталей «эскалация» превращается в ящик, куда падают диалоги без присмотра.
Второй элемент — интерфейс проверяющего: черновик виден целиком, рядом источник, по которому построен ответ, правка сохраняется в журнал. Так проверка занимает секунды, а компания накапливает базу прецедентов: какие темы часто требуют человека — кандидаты на пополнение базы знаний.
Со временем отношение «автоответов к проверкам» становится управленческой метрикой: оно показывает, где контур уже надёжен, а где рано убирать контроль.
Бонус контроля — данные для обучения сотрудников: разборы эскалированных диалогов показывают, где люди пытаются переложить на машину лишнее, а где, наоборот, вручную делают то, что система давно закрывает. Эти наблюдения возвращаются в регламент и в базу знаний, и контур постепенно обретает границы, которые устраивают и бизнес, и клиентов.
Замечание для скептиков автоматизации: участие человека не отменяет экономику ИИ. Даже при проверке половины ответов система экономит время — доработать черновик быстрее, чем писать с нуля. Контроль стоит понимать не как тормоз, а как настраиваемую величину: сначала проверяем больше, затем, по мере роста метрик, — меньше. Правильный вопрос к внедрению — не «может ли система работать совсем сама», а «сколько проверки ей требуется сейчас».
Ответ на этот вопрос меняется со временем, и в этом нет слабости проекта.
Требования к ИИ в госсекторе собраны на странице ИИ для госсектора; типичные провалы внедрения — в разборе ошибок при внедрении ИИ; сценарии ассистентов с эскалацией — на странице услуги ИИ-ассистентов и чат-ботов.