Неверный язык часто выбирается до появления первого слова транскрипта. Сервис подаёт в language detector начало файла с музыкой, тишиной или одной короткой междометной фразой, получает случайного лидера и затем декодирует весь разговор с этим условием. Запишите отдельный результат language ID и тот фрагмент, на котором он принят.

Если язык известен из профиля, очереди или маршрута звонка, передайте поддерживаемый language code явно. Автоопределение нужно для действительно неизвестного входа; оно не должно снова спорить с достоверными данными продукта. Для неизвестного аудио ограничьте список только реалистичными кандидатами и предусмотрите статус «не уверен».

Сбой раскладывается на четыре решения

ПризнакВероятный этапСледующий тест
language ID неверен до transcriptiondetector/input windowпрослушать именно выбранный speech interval
ID верен, текст похож на другой языкASR model/taskпроверить model и transcribe/translate
ошибка только на коротких репликахнедостаток речиобъединить соседний контекст или задать язык
смешанный разговор имеет один языкfile-level decisionопределять язык по segment/channel
все файлы стали EnglishEnglish-only model/configсверить variant и параметр language

Не оценивайте только красивый итоговый текст: модель способна построить грамматичную, но неверную гипотезу. Нужны original audio, выбранное окно, код языка, распределение вероятностей или score, задача recognition/translation и версия модели.

Заставка не должна голосовать за весь разговор

Перед language ID отделите речь от тишины и фоновой музыки, но не обрезайте первые слова агрессивным VAD. Для подкаста с англоязычной заставкой и русским разговором решение по первому окну закономерно будет смещено. Возьмите несколько чистых речевых участков и сравните результаты, а не удлиняйте случайный музыкальный фрагмент.

Whisper при отсутствии параметра language определяет язык по фрагменту до декодирования; в текущей реализации transcribe используется до первых 30 секунд подготовленного mel segment. Это конкретное поведение Whisper, а не правило для любого ASR. Другие сервисы публикуют собственные минимальные условия и ограничения.

Список кандидатов должен отражать продукт

Автоопределитель, которому разрешены десятки близких языков, решает более сложную задачу, чем нужно локальному сервису. Google Cloud рекомендует сокращать список language codes; AWS предупреждает, что при отсутствии истинного языка среди options выберет ближайший и построит неточный transcript. Ограничение полезно только если в список действительно входит язык входа.

  • Известен один язык — передать его явно.
  • Ожидаются два-три языка — разрешить только их и логировать выбранный.
  • Язык неизвестен — сохранять несколько кандидатов и порог продукта.
  • Диалект важен — не подменять задачу dialect recognition общим language ID.

Не придумывайте универсальный confidence threshold. Выберите его на размеченной выборке вашего аудио: телефон, студия, улица, разные длительности и акценты. Ниже порога можно попросить язык у пользователя или прогнать ограниченное число ASR-кандидатов и сравнить независимым критерием.

Whisper позволяет увидеть распределение, а не только победителя

import whisper

model = whisper.load_model('turbo')
audio = whisper.load_audio('sample.wav')
audio = whisper.pad_or_trim(audio)
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)
_, probs = model.detect_language(mel)

for code, score in sorted(probs.items(), key=lambda item: item[1], reverse=True)[:5]:
    print(code, round(score, 4))

# Если язык известен:
# whisper sample.wav --language Russian --task transcribe

В рабочем журнале достаточно top-N codes, модели, длительности speech и ID задания. Не сохраняйте приватное аудио бессрочно. Также различайте transcribe и translate: перевод в английский — отдельная задача, а не доказательство неверного language ID.

Приёмочная выборка включает сложные границы

  1. Чистая длинная речь на каждом поддерживаемом языке.
  2. Короткая команда после тишины и фоновой музыки.
  3. Название бренда на другом языке внутри основной речи.
  4. Два языка в одном файле и по одному на разных каналах.
  5. Шумный файл без достаточной речи с ожидаемым uncertain/reject.

Исправление считается устойчивым, когда known-language путь больше не запускает detector, неизвестный путь хранит объяснимый выбор, а смешанная речь обрабатывается по заявленной модели — dominant language, segments или channels. Для разбора подготовьте обезличенные короткие отрывки с правами на обработку, ожидаемый язык, candidate scores, параметры модели и границы speech interval.

Проверенные источники