Языковая модель — генератор правдоподобного текста, а не база фактов. Когда надёжных знаний по вопросу в её «памяти» нет, она не замолкает, а достраивает пробел правдоподобным продолжением — так и получаются уверенные выдумки. Для бизнеса это не курьёз, а операционный риск: галлюцинация в клиентской переписке или внутренней справке стоит реальных денег.
Почему модель галлюцинирует
- Провалы в данных обучения: о событиях после обучения модели, редких документах и внутренних регламентах ей просто нечего знать.
- Конфликтные сведения: в базе знания два приказа противоречат друг другу — модель «усредняет» их, порождая третий, несуществующий.
- Давление ответить: без специальной настройки модель не умеет говорить «не знаю» и отвечает всегда.
- Край контекста: факты из середины очень длинной подачи замечаются хуже — эффект «иглы в стоге сена».
Отдельно стоит про непрямые галлюцинации: модель может корректно пересказать документ, который сам содержит ошибку. Поэтому зрелые контуры проверяют не только ответы, но и базу — на дубли, противоречия и устаревшие версии. Найти «сломанный» источник заранее дешевле, чем разъяснять клиенту, почему бот сослался на отменённый приказ вместо действующего.
Зачем бизнесу
- Юридические и финансовые риски: вымышленная норма в справке, неверные реквизиты договора, ссылка на несуществующий приказ.
- Репутация: клиент, получивший уверенный ложный ответ, перестаёт доверять сервису целиком.
- Регуляторика: дезинформация моделью — отдельный пункт рисков (OWASP LLM09), который проверяют при аудите ИИ.
Симптом, что пора действовать, тоже типовой: пользователи начинают переспрашивать у коллег то, что только что узнали у бота. Доверие к системе восстанавливается медленно, поэтому уровень галлюцинаций контролируют так же регулярно, как uptime.
Как снизить галлюцинации
Рабочий механизм — RAG: модель отвечает только по найденным фрагментам документов и показывает источник, а при пустой выдаче честно передаёт вопрос человеку. Дополнительно настраивают явный отказ при отсутствии данных, регулярные контрольные наборы вопросов с эталонами и человека в контуре для критичных ответов. Подробнее — в разборе что такое галлюцинации LLM и как их обезопасить.
Не менее важен человеческий слой: сотрудники должны знать, что ответ модели — гипотеза, а не истина, и проверять критичные цифры по источнику. В регламент использования ИИ полезно внести простое правило — «ни одного ответа в официальный документ без сверки с первоисточником». Дисциплина стоит недорого, а отсекает самый дорогой класс ошибок: уверенную выдумку, попавшую в письмо клиенту или внутренний приказ.
Типовые галлюцинации в бизнес-задачах
- Вымышленная норма: модель «вспоминает» пункт приказа с точным номером и датой, которого не существует.
- Ложный реквизит: ИНН, счёт или срок платежа, правдоподобно выглядящие и полностью выдуманные.
- Несуществующая ссылка: URL или номер дела генерируются по шаблону и не открываются.
- Смешение источников: из двух противоречащих инструкций собирается третья, компромиссная — и тоже не существующая.
- Уверенная датировка: точные даты событий, о которых у модели нет данных.
Общее у всех сценариев одно: форма безупречна, поэтому ловит только проверка по источнику. Отсюда и правило внедрения — ни одного критичного ответа без ссылки на документ.
Цены «от» (сентябрь 2026)
Аудит процессов и данных — от 90 000 ₽; пилот LLM+RAG с контролем источников — от 480 000 ₽ за 4–6 недель; аудит ИИ-систем — от 150 000 ₽; ИИ red teaming — от 300 000 ₽. Цены сентября 2026, без НДС (УСН).
С чего начать
Соберите 50–100 реальных вопросов бизнеса и проверьте на них текущие ответы модели: доля точных ответов — базовая метрика. Дальше строится RAG-контур с источниками и запретом отвечать вне них, а контрольный набор превращается в регулярный регламентный замер.