Проверяйте запись, расшифровку, резюме и задачи отдельно
Полезный итог проверки совещания — не просто гладкий текст. Нужны понятные расхождения с аудио, подтверждённые имена и числа, корректная привязка реплик и отдельная проверка выводов. Хорошо читаемая расшифровка может пропустить отрицание; точная реплика ещё не доказывает, что участник взял задачу или согласовал срок. Этот протокол связывает каждый спорный результат с фрагментом записи.
Инструкция подходит для ручной проверки готового результата STT и для подготовки контрольного набора перед выбором обработки. Она не запускает распознавание, не определяет личность человека по голосу и не задаёт допустимый процент ошибок для всех встреч. Обзор процесса есть на странице суммаризации совещаний; здесь рассматривается конкретный способ сверить результат.
1. Подготовьте источник и правила проверки
Зафиксируйте ID записи, длительность, язык, расположение каналов и версию полученного текста. Отметьте, есть ли несколько одновременных голосов, шум, длинные паузы, удалённые участники и технические термины. Если аудио редактировалось, сохраните связь между оригиналом и рабочей копией: изменение длительности может сдвинуть все временные метки. Для проверки не используйте чужой доступ или случайный внешний сервис.
Разделите запись на фрагменты с началом и концом. Спорный участок должен открываться по метке, а не требовать повторного прослушивания всей встречи. Для контрольной оценки включите спокойную речь, сложные участки и важные решения. Если проверена только выборка, так и укажите в результате; не объявляйте непроверенную часть точной.
Определите, каким будет эталон: дословным с оговорками либо нормализованным по согласованным правилам. Решите, как записывать числительные, сокращения, повторённые слова и неразборчивые фрагменты. Смысловое редактирование не должно молча становиться эталоном распознавания. Имена участников и названия проектов подтверждаются известными данными встречи; при неопределённости используется метка, а не выдуманное имя.
2. Сверьте текст с аудио, сохраняя неопределённость
Проверяющий слушает фрагмент и заносит эталон независимо от автоматического текста. Затем сравнивает его с кандидатом. Отдельно помечаются замена слова, пропуск, добавление, неправильная граница реплики и неразборчивость источника. Если два проверяющих слышат по-разному, сохраните спор и решение; повторный запуск модели не является независимым подтверждением услышанного.
Имена, даты, суммы, единицы измерения и отрицания прослушивайте адресно. Проверьте слова «не», «если», «после согласования», «предлагаю»: их потеря превращает обсуждение в обязательство. Сопоставляйте число вместе с единицей и контекстом. «Тринадцать» вместо «тридцать» — не косметическая ошибка, если от числа зависит дальнейшая задача.
Добавления на тишине и повторяющиеся фразы тоже включаются в журнал. В официальной карте Whisper отмечены возможный текст, которого не было в аудио, и повторения. Это ограничение конкретного семейства моделей; выбранную систему нужно проверять на собственном контексте, а не переносить на неё чужие показатели качества.
| Слой | Вопрос проверки | Доказательство |
|---|---|---|
| Текст | Это действительно прозвучало? | Эталон и временной фрагмент |
| Говорящий | Эта реплика относится к нужному участнику? | Подтверждённая связь метки и участника либо явная неопределённость |
| Резюме | Вывод поддерживается репликами? | Ссылки на исходные фрагменты и оговорки |
| Задача | Действие, исполнитель и срок действительно согласованы? | Реплика о принятом действии; неподтверждённые части отмечены отдельно |
3. Разберите говорящих без угадывания личности
Разделение голосов и установление имени — разные операции. «Говорящий 2» может быть устойчивой меткой внутри записи, но сама метка не доказывает, кто это. Запишите, на чём основано имя: представление на записи, проверенный список участников и отдельное подтверждение. Если основания нет, оставьте «Участник B» и пометку о необходимости сверки.
На смене голоса проверьте начало и конец реплики. При наложении речи не присваивайте уверенно весь фрагмент одному человеку. Для задач особенно важно, кто предложил действие и кто его принял. Один участник мог попросить другого выполнить работу; автоматический список обязанностей может перепутать их даже при правильном тексте.
Для контрольных фрагментов с эталоном можно считать ошибки слов. Инструмент NIST SCTK / sclite сравнивает reference и hypothesis с выравниванием. Замены, удаления и вставки полезны для разбора причин; правила нормализации и единица сравнения фиксируются вместе с оценкой. Один общий показатель не измеряет правильность имён участников, смысла решения или назначенных задач, поэтому эти проверки остаются отдельными.
4. Проверьте каждое утверждение резюме и задачи
Резюме разложите на отдельные утверждения. Для каждого найдите supporting-фрагмент и проверьте, не потеряны ли условие, отрицание, статус предложения и несогласие. Если текст кратко объединяет несколько реплик, укажите их все. Утверждение без опоры не нужно «дополнять здравым смыслом»; его убирают или оставляют как неподтверждённое для разбора.
В задаче разделите действие, исполнителя, срок и условие начала. Не заполняйте отсутствующий срок предполагаемой датой. Не превращайте фразу «надо бы проверить» в принятую задачу. До последующей записи в трекер человек подтверждает, какие части поддержаны аудио и какие требуют уточнения. Подтверждение текста не разрешает автоматически отправлять задания участникам.
Учебный DEMO-01 содержит эталон «Не включаем обмен сегодня», а кандидат теряет отрицание. Резюме «обмен включён» и задача «включить обмен» имеют отдельные дефекты опоры. В DEMO-02 число «тридцать» заменено на «тринадцать»: исправление числа не исправляет автоматически уже созданное резюме. В DEMO-03 правильная реплика назначена другому участнику. Поэтому CSV хранит проверки текста, говорящего и производных выводов раздельно.
5. Зафиксируйте решение и повторите изменённые случаи
Заранее определите, какие ошибки останавливают выпуск результата и кто решает спорные случаи. Сводка показывает проверенную длительность/фрагменты, типы ошибок, неподтверждённые утверждения и оставшийся scope. Например, если сверены только решения встречи, результат не равен дословно проверенной расшифровке всей записи.
Сохраните исходный кандидат, исправленный текст, журнал изменений и ссылки на запись. После смены модели, параметров, словаря или обработки аудио повторите тот же контрольный набор; ранее закрытые случаи тоже проверяются. Новая версия получает новый результат, а не перезаписывает старую оценку. По протоколу должно быть видно, какое именно сочетание записи и обработки было рассмотрено.
Комплект завершённой проверки включает паспорт записи, правила эталона, таблицу фрагментов и расхождений, подтверждение имён/меток, проверку утверждений и задач, решение ответственного и непроверенные участки. Автоматическое распознавание и ручная проверка помогают друг другу, но не устраняют неразборчивость исходного звука.
Границы и связанные материалы
Протокол не устанавливает полномочия участников, доказательственную силу протокола встречи или допустимость обработки записи. Он проверяет техническую связь результата с предоставленным источником. Правила доступа, использования записи и дальнейшей отправки определяются отдельно для конкретного процесса.
Смотрите также ответ о доверии к ИИ-протоколам, обзор STT-моделей и материал о локальном ASR. Для обсуждения состава пилота используйте контакты НЬЮ-ССТ. Начать можно с описания языка, условий записи и требуемого результата, без передачи содержимого встречи через незнакомый канал.