Почему модели галлюцинируют
Языковая модель — это предсказатель продолжения текста, а не база данных. Она порождает правдоподобные слова, и когда знаний не хватает, «правдоподобное» побеждает «верное»: модель уверенно называет статью закона, которой нет, или приписывает партнёру условия, которых не было. Усилители эффекта — размытые вопросы, отсутствие контекста и просьбы «придумай точную цифру».
Важно понимать: галлюцинации — свойство архитектуры, а не дефект конкретного бренда. Полностью их не устраняет ни одна модель, поэтому зрелые внедрения управляют этим риском архитектурно.
Где это опасно для бизнеса
- консультирование клиентов — выдуманная цена или срок превращаются в претензию;
- юридические и бухгалтерские ответы — несуществующая норма или реквизит;
- медицина и социальная сфера — ошибка недопустима по определению;
- внутренние регламенты — сотрудник действует по выдуманной инструкции.
Четыре работающих защиты
- RAG — ответ только на основе базы. Модель получает фрагменты ваших документов и инструкцию отвечать лишь по ним; при отсутствии материала — честный отказ. Разбор метода — в статье «Что такое RAG в чат-боте»;
- Цитирование источника. Ответ сопровождается ссылкой на документ и раздел — проверка занимает секунды;
- Человек в контуре. Чувствительные ответы уходят специалисту на подтверждение; ассистент готовит черновик, решение остаётся за человеком;
- Порог уверенности и белые списки. Вопросы вне тематики и «мнения» блокируются фильтрами.
Как измерить уровень галлюцинаций
| Метрика | Как считается |
|---|---|
| Доля ошибочных ответов | На тестовом наборе вопросов с эталонами |
| Доля отказов | Сколько вопросов корректно перенаправлено человеку |
| Прослеживаемость | % ответов с корректной ссылкой на источник |
Эти метрики фиксируются на пилоте (4–6 недель, от 480 000 ₽) и далее отслеживаются в сопровождении. Отдельный класс рисков, связанный с дезинформацией модели, систематизирован в каталоге OWASP LLM — позиция LLM09 разобрана в материале о дезинформации моделей.
Практический вывод
Галлюцинации — не причина отказываться от ИИ, а причина правильно его готовить. Схема «RAG + цитирование + человек в контуре» закрывает большинство бизнес-рисков: ассистент отвечает на типовые вопросы по вашим документам, а всё спорное уходит специалисту. Такой принцип «человека в контуре» — базовое требование к ответственным ИИ-системам; как он применяется в корпоративных процессах — в материале о человеке в контуре ИИ.
Определение технологии — в словарной статье о RAG; о том, как обучить модель на документах компании, — наш ответ про обучение LLM на документах. Цены сентября 2026 года, без НДС в связи с применением УСН. Остальные вопросы — в разделе «Вопросы и ответы».
Красные флаги: как понять, что база знаний плохая
Часто дело не в модели, а в том, чем её «кормят». Признаки, что база знаний требует внимания:
- несколько версий одного документа — система цитирует прошлогодний прайс вперемешку с новым;
- сканы без текстового слоя — фрагменты индексируются криво, ответы обрывочны;
- тексты «для галочки» — формальные регламенты, которые противоречат реальной практике, порождают вредные ответы;
- нет ответственного — базу пополняют все понемногу, и через полгода в ней хаос;
- жалобы вида «бот придумал» повторяются по одной теме — значит, в базе дыра именно там.
Лекарство организационное: у базы знаний есть владелец, регламент пополнения и периодическая чистка устаревших версий. Техническое дополнение — метрика прослеживаемости: доля ответов с корректной ссылкой на источник. Когда она падает, это ранний сигнал деградации базы, ещё до жалоб пользователей.
Хорошая новость: наведение порядка в базе — самый дешёвый способ повысить качество ассистента. Дороже только менять модель, и почти всегда менее эффективно.
Итог для практикующего руководителя: галлюцинации — управляемый риск, а не приговор технологии. Зафиксируйте правило «ассистент отвечает только по документам и всегда называет источник», добавьте передачу спорных вопросов человеку и замеряйте долю ошибок на пилоте. При таком подходе модель работает в границах, где её ошибки видны и перехватываются, а команда доверяет системе — потому что понимает, как она устроена и откуда берёт ответы. Дисциплина здесь стоит дешевле любой самой современной модели.