Рост доли категории «возврат» ещё не означает, что классификатор испортился. После акции таких обращений действительно могло стать больше. Для оценки ошибок нужна подтверждённая разметка свежей выборки. Начните с двух отчётов: что изменилось во входящем потоке и насколько предсказания совпадают с проверенными ответами.
Сохраните версию модели, подготовки текста и набора категорий для каждого тестового результата. Иначе изменение правил будет выглядеть как изменение качества той же системы. Публичный диагностический набор составьте из искусственных обращений; реальные сообщения допускаются только в предусмотренном защищённом процессе проверки.
Три сигнала отвечают на разные вопросы
| Сигнал | Что показывает | Чего не доказывает |
|---|---|---|
| Доли входных типов и языков | Изменение состава потока | Правильность предсказаний |
| Ошибки на свежей размеченной выборке | Качество на текущих задачах | Работу на всех редких случаях |
| Постоянный контрольный корпус | Регрессию знакомых сценариев | Сохранность качества на новых темах |
Условный пример: общий процент совпадений снизился после появления нового языка, но на прежнем языке не изменился. Это повод проверить новый срез и достаточность примеров, а не безусловно откатить весь сервис. Другой случай — одинаковые контрольные тексты стали получать новые неверные метки после изменения очистки. Здесь проверяется конкретная версия обработки.
Метрика сохраняет определение и знаменатель
Документация scikit-learn различает macro- и weighted-усреднение классификационных метрик: первое усредняет значения по классам без веса их частоты, второе учитывает число истинных примеров класса. Проверено 14 октября 2026 года. Выбор меняет смысл итогового числа; рядом сохраняются объём и показатели отдельных категорий.
Условный паспорт отчёта:
period: <границы выборки>
model_revision: <версия>
label_schema: <версия категорий>
labeled_count: <подтверждённая выборка>
metric: <название и усреднение>
slices: language / channel / category
label_status: provisional / confirmedЕсли правильная категория появляется после работы оператора, сегодняшние результаты ещё не полностью размечены. Сравнивайте периоды с сопоставимой зрелостью меток. Отсутствие подтверждения не равно правильному ответу модели. Не исключайте молча трудные обращения, по которым оператор пока не завершил разбор.
Выборка только из жалоб операторов полезна для поиска дефектов, но завышает долю ошибок относительно общего потока. Для оценки качества нужен описанный способ отбора, а трудные случаи можно вести отдельным набором. При малом числе примеров редкой категории покажите неопределённость вместо уверенного вывода по одному обращению.
Сигнал мониторинга запускает проверку причины
- Сопоставить версии до и после изменения.
- Прочитать свежую подтверждённую выборку.
- Разложить результат по категориям и языкам.
- Прогнать постоянный контрольный корпус.
- Проверить задержку разметки и способ отбора.
Порог уведомления выбирается по рабочему процессу и наблюдаемой изменчивости, а не по красивому универсальному проценту. Сигнал должен содержать период, срез и примеры расхождений в разрешённом виде. Автоматическое переобучение по любому всплеску может закрепить ошибки разметки; сначала подтвердите источник ухудшения.
Смена распределения текста часто называется дрейфом данных. Она может сопровождаться потерей качества, но эти события не тождественны. Откат модели тоже не решает появление принципиально новой категории. Для разбора подготовьте оба контура оценки и историю версий. Исправление подтверждено, когда отчёт различает новый поток, регрессию обработки и ошибку меток, а не сводит их к одной красной лампе.