Почему ИИ-подрядчика проверяют иначе
На классическом рынке разработок репутация проверяется портфолио и отзывами. В ИИ-разработке этого мало: технология новая, эффект вероятностный, а обещать «умный ассистент за неделю» может кто угодно — проверить обещание без методики невозможно. При этом цена ошибки выше: подрядчик получает доступ к вашим данным, процессам и инфраструктуре. Поэтому проверка ИИ-подрядчика — это отдельная процедура из семи проверок, которую можно провести до подписания договора.
Общая проверка контрагента перед договором — документы, суды, финансы — разобрана в ответе как проверить подрядчика перед договором; эта страница — про проверку именно ИИ-компетенций и добросовестности.
Семь проверок
- Кейсы с метриками, а не скриншотами. «Сделали ассистента» — не кейс. Кейс: какой процесс, какая метрика была и стала, на какой выборке измеряли, что стало с системой через полгода.
- Тестовое задание на ваших данных. Небольшое платное тестовое задание (или прототип от 90 000 ₽ за 3–5 дней) на реальных обезличенных документах — единственный способ увидеть работу подрядчика до большого контракта; наблюдайте в процессе не только результат, но и вопросы: сильная команда спрашивает про данные и критерии качества, слабая — только про сроки и оплату.
- Вопрос про галлюцинации. Спросите: «Что будет, когда ассистент ошибётся?» Внятный ответ описывает RAG с источниками, фильтры уверенности, эскалацию на человека. Невнятный — «модель не ошибается» — повод заканчивать встречу.
- Лестница цен вместо «всё сразу». Зрелый подрядчик предлагает ступени: разбор бесплатно → аудит от 90 000 ₽ → прототип → MVP от 690 000 ₽ → пилот от 480 000 ₽. Требование оплатить сразу «промышленный контур 0,9–1,2 млн ₽» без пилота — красный флаг.
- Договор с приёмкой по метрикам. В договоре должны быть: тестовая выборка, критерии качества, NDA, режим данных (что можно в облако, что только локально), порядок передачи исходников и прав.
- 152-ФЗ и 243-ФЗ без паники и без игнора. Подрядчик должен уметь в двух словах объяснить, как обезличивает данные и что требует от него как разработчика закон об ИИ с 01.03.2027. Что требовать от подрядчика по защите — в ответе что требовать от подрядчика по защите ИИ.
- План жизни после релиза. Спросите: «Что будет с качеством через полгода?» Нормальный ответ: сопровождение от 50 000 ₽/мес, обновление базы знаний, мониторинг метрик. Отсутствие ответа означает, что систему бросят на деградацию.
Красные флаги
- Называет цену всего проекта до разбора задачи — «миллион, срок три месяца» — без единого вопроса о ваших данных.
- Обещает «100% качество ответов» или «полностью заменит сотрудников».
- Не может назвать ни одной метрики, по которой принимает работу.
- Просит все данные компании сразу «для обучения» — до договора и NDA.
- Не различает RAG и fine-tuning, «облако» и «локальную модель» на вопросе в лоб.
Чек-лист первой встречи
Десять вопросов, после которых картина ясна: покажите кейс с цифрами «до/после»; кто владеет кодом и базой знаний после проекта; где физически будут обрабатываться данные; как измеряется качество; что входит в цену пилота; кто отвечает за подготовку документов; как происходит эскалация на человека; что входит в сопровождение; как соблюдается 152-ФЗ; что изменится для вас с 01.03.2027 по 243-ФЗ. Подрядчик, который отвечает спокойно и конкретно, заслуживает тестового задания; который уходит в общие слова — экономит вам миллионы.
Сравнение подрядчиков для ИИ-разработки по критериям — в материале как выбрать подрядчика для разработки ИИ; методологическую помощь оказывает услуга ИИ-консалтинг; требования к защите ИИ-активов — в разделе защита ИИ.
Что должен подготовить заказчик к проверке
Проверка работает в обе стороны: хороший подрядчик тоже проверяет вас — дефицит данных и внутренних владельцев процесса губит проект быстрее, чем плохой код. До первой встречи полезно иметь: описание процесса в двух-трёх абзацах (что происходит сейчас, руками кого, что болит); три-пять примеров реальных задач с ожидаемым результатом; понимание режима данных — что можно показывать подрядчику под NDA, а что нельзя вообще; и имя человека, который будет принимать решения по проекту. С таким пакетом встреча длится час вместо трёх, а тестовое задание получается осмысленным с первого раза.
Как читать бесплатный разбор
Разбор ТЗ за 1 рабочий день — сам по себе тест. Качественный разбор возвращает: лестницу цен под ваш процесс (не «от 100 000 до бесконечности», а ступени с составом), вопросы к данным (значит, думал про данные, а не только про код), честное «это не наш случай» хотя бы по одной вашей хотелке и следующий конкретный шаг. Разбор-презентация с общими слайдами про «цифровое будущее» без единого вопроса о вашем процессе — исчерпывающий ответ о подрядчике, полученный бесплатно.
Сколько стоит проверка до контракта
Бюджет проверки — часть экономики сделки, и он на удивление мал. Бесплатный разбор ТЗ за 1 рабочий день отсекает самых слабых: они не выдерживают конкретики. Аудит процессов и данных за 90 000 ₽ и 3–5 дней показывает, как подрядчик работает с вашими материалами — это уже диагностика и вас, и его. Наконец, прототип за 90 000 ₽ — окончательная проверка: живой ассистент на ваших данных, которого можно потрогать и которым можно мериться. Итого: даже максимальная проверка — аудит и прототип, по 90 000 ₽ каждый — на фоне промышленного контура 0,9–1,2 млн ₽ стоит как страховка цены ошибки менее чем в пятую часть бюджета. Подрядчик, который не проходит ни одной платной ступени, сэкономил вам гораздо больше, чем стоили ступени.
Итог
ИИ-подрядчика проверяют не словами о «лидирующей компании», а семью проверками: кейсы с метриками, тестовое задание на ваших данных, внятные ответы про галлюцинации, лестница цен, договор с метриками приёмки, правовая гигиена и план сопровождения. Начать можно с малого: бесплатный разбор ТЗ за 1 рабочий день покажет и компетенции, и стиль коммуникации — до того, как вы подпишете что-то серьёзное. Дальше ступени проверки платные, но дешёвые относительно контракта: аудит и прототип по 90 000 ₽ дают живой материал для решения, а не презентации для веры.