Возьмите одну пропущенную фразу и сохраните короткий фрагмент исходного файла с несколькими секундами до и после неё. Сначала убедитесь, что samples действительно присутствуют, затем измерьте уровень по каждому каналу и посмотрите, попал ли интервал в сегмент, отправленный модели. Если VAD вырезал участок, настройка распознавания не вернёт отсутствующие байты.
Не поднимайте громкость всего файла наугад. Когда голос находится рядом с noise floor, усиление увеличивает и речь, и фон; отношение сигнал/шум почти не меняется. Нормализованная копия полезна как диагностический A/B-вариант, но оригинал сохраняется неизменным.
Три версии одной фразы локализуют потерю
| Проверка | Если фраза появилась | Вывод |
|---|---|---|
| исходник без VAD | да | сегментация или trim удаляли участок |
| исходник с обычной сегментацией | нет | проверить уровень, канал и decoder |
| нормализованная копия без VAD | да | модель чувствительна к уровню/шуму этого фрагмента |
| моно-микс вместо одного канала | да | неверно выбран канал |
| ни один вариант | нет | возможны язык, модель, сильный шум или отсутствующая речь |
Сравнение выполняют с одинаковой моделью, языком и параметрами декодирования. Иначе невозможно понять, какое изменение помогло. Результат оценивают не общим впечатлением, а наличием контрольных слов и сохранением соседних фраз.
Astats показывает уровень и фон по каналам
FFmpeg `astats` сообщает RMS, peak, dynamic range и noise floor для каналов и всего сигнала. Измеряйте только интересующий интервал, потому что среднее по часовому файлу скроет короткую тихую реплику. Отдельно проверьте, не записан ли собеседник только в правом канале, который preprocessing случайно отбросил.
ffmpeg -ss 00:12:40 -t 20 -i input.wav -af astats=metadata=1:reset=1 -f null -
control_window=00:12:47.200..00:12:50.800
channel=2
rms_level_db=-41.8
noise_floor_db=-52.1
vad_segment_present=false
transcript_contains_control_phrase=false- Сохранять sample rate, число каналов и фактический codec на входе worker.
- Не сравнивать dBFS разных фрагментов без одинаковой методики окна.
- Не объявлять любое значение ниже фиксированного порога тишиной для всех записей.
- Не отправлять пользовательское аудио во внешние инструменты без разрешённого процесса.
Silencedetect — измеритель, а не готовый VAD модели
Фильтр `silencedetect` отмечает интервалы ниже заданного noise threshold в течение заданной duration. Это удобно, чтобы проверить гипотезу о ранней нарезке. Но распознаватель может использовать другой VAD и признаки, поэтому одинаковый числовой порог переносить напрямую нельзя. Запишите параметры именно того компонента, который создал сегменты.
Особенно опасен `silenceremove`: агрессивные start/stop thresholds способны физически удалить тихие окончания. Для диагностики сначала выключите удаление и сохраните границы с padding. Если фраза возвращается, уменьшайте порог или увеличивайте запас вокруг речи на тестовом наборе, контролируя рост ложных сегментов.
Нормализация проверяется на копии и без clipping
`loudnorm` реализует нормализацию по EBU R128 и поддерживает одно- и двухпроходный режим; для файлов воспроизводимее двухпроходная обработка с измеренными параметрами. Альтернативная динамическая нормализация может поднять тихие участки, но также меняет фон. Сравните true peak и не допускайте clipping.
- Измерить исходный фрагмент и сохранить показатели.
- Создать диагностическую копию с документированными параметрами.
- Прогнать обе версии через одинаковый ASR без trim.
- Сравнить контрольные слова, соседний текст и ложные вставки.
- Включать preprocessing в production только после набора разных записей.
Приёмка проходит на наборе тихих и обычных реплик
Соберите обезличенный тестовый корпус: тихая речь на чистом фоне, тихая речь с вентилятором, разные каналы, окончания перед паузой и обычные громкие фразы. Для каждого примера сохраните эталонные интервалы. Изменение считается полезным, если возвращает пропуски и не ухудшает заметно соседнюю речь либо число ложных срабатываний.
В production наблюдайте долю аудио, отброшенного VAD, распределение RMS входа и случаи пустой транскрипции, не записывая сами разговоры в общий лог. Для разбора нужны версия модели, параметры сегментации, sample rate/channels и короткий разрешённый контрольный фрагмент; полный разговор и персональные данные передаются только по утверждённой процедуре.