Число 0,9 рядом с категорией ещё не означает, что ответ верен с вероятностью 90%. Сначала выясните, откуда взялась оценка: вероятность модели, расстояние до примера, нормированный score или число, написанное языковой моделью. Затем сравните её с фактическими ошибками на размеченных обращениях. Менять порог до этой проверки рано.
Для первого опыта возьмите отложенную выборку, которую не использовали при настройке, и сохраните предсказанный класс, тип оценки, версию модели и правильную метку. Удалите лишние персональные данные. Если поставщик не выдаёт вероятности, не переименовывайте его произвольный score в проценты ради удобства интерфейса.
Одинаковое число может означать разное
| Оценка | Что известно | Чего она не гарантирует |
|---|---|---|
| Вероятность класса | Оценка выбранной моделью | Хорошую калибровку на вашем потоке |
| Расстояние до образца | Близость по выбранной метрике | Вероятность правильного класса |
| Разрыв двух лучших score | Различимость кандидатов | Что оба кандидата вообще применимы |
| Самооценка в тексте | Сгенерированное утверждение | Измеренную частоту правильных ответов |
Документация scikit-learn описывает калиброванный бинарный классификатор так: среди примеров с прогнозом около 0,8 примерно 80% должны относиться к положительному классу. Источник проверен 21 октября 2026 года. Это свойство группы предсказаний, а не обещание для одного обращения. В многоклассовой задаче отдельно проверяют оценки и ошибки разных категорий.
Сопоставьте интервалы с действительностью
Условный протокол, без готового порога:
зафиксировать модель, классы и набор обращений
разбить оценки на заранее определённые интервалы
для каждого: число примеров и доля правильных меток
отдельно: категории, язык, канал и новые формулировки
мало наблюдений -> отметить неопределённость
настройка порога -> только после этой сверкиНе делайте сильный вывод по нескольким обращениям с высокой оценкой. В отчёте рядом с долей показывайте количество наблюдений и способ отбора. Если выборка состоит только из уже сомнительных заявок операторов, она не описывает весь рабочий поток. Для контроля полезны и случайно отобранные автоматические решения, включая внешне уверенные.
Калибровка и качество различения — разные задачи. Модель может аккуратно оценивать свою неопределённость и всё равно плохо отделять две близкие категории. Коррекция вероятностей не исправляет неясный справочник классов. Сначала разберите пары систематических ошибок, затем решайте, менять описание категорий, признаки или способ оценки.
Порог выбирают по цене решения
- Измерить ошибки среди автоматически принятых результатов.
- Посчитать долю потока, уходящую на ручную проверку.
- Проверить редкие категории отдельно от среднего итога.
- Сохранить пороги вместе с версией модели и справочника.
- После изменения потока повторить оценку на свежей разметке.
Единого безопасного порога для всех задач нет. Ошибка тематической метки и ошибочный запуск внешнего действия имеют разную цену; высокая оценка не разрешает обходить авторизацию или подтверждение операции. Для некоторых классов допустима только рекомендация оператору. Это продуктовая политика, которую измерения помогают обосновать.
Вводите новый порог сначала в теневом режиме: он считает маршрут, но не меняет обработку заявок. Сравните нагрузку ручной очереди и пропуски, затем включайте проверенную редакцию с возможностью возврата. Для разбора подготовьте таблицу «оценка — класс — верная метка» и описание источника score. По ней видно, требуется калибровка, новый порог или ремонт самой классификации.