Если инструкция требует всегда выбрать одну категорию, незнакомое обращение всё равно получит правдоподобную метку. Добавьте явный исход «не классифицировано» и объяснимую причину. Сначала проверьте сообщения вне справочника и неоднозначные примеры: они должны попадать в предусмотренный разбор, а не в случайный отдел.

Отказ модели не должен оставлять заявку без владельца процесса. Определите очередь, срок разбора и дальнейшее действие оператора. Это отличается от бизнес-категории «Прочее», у которой могут быть собственные исполнители. Нельзя считать все неудачные запросы к API содержательным решением о неизвестной теме.

Разделите четыре разных исхода

ИсходЗначениеСледующий шаг
Категория принятаЕсть достаточное основание по политикеОбычная маршрутизация
Неизвестная темаНе подходит справочникРучной разбор и возможная новая категория
НеоднозначностьНесколько допустимых трактовокУточнение или выбор оператором
Техническая ошибкаРешение не полученоОграниченное восстановление обработки

В контракте результата можно разделить status, category и reason. Для отказа category отсутствует, а причина принадлежит ограниченному словарю. Ошибка формата ответа — техническая проблема, а не новый класс. Так отчёт покажет, вырос поток неизвестных тем или сломался провайдер, вместо одной общей колонки null.

Отказ — решение приложения, а не новая вероятность

scikit-learn разделяет оценивание класса и принятие действия на основе оценки. Документация проверена 21 октября 2026 года. Из этого следует полезное инженерное разделение: модель предлагает кандидатов, а политика решает, принять метку или направить на разбор. Само добавление слова UNKNOWN в промпт не проверяет качество такого решения.

Условный контракт:
status: accepted | abstained | failed
category: только для accepted
reason: OUT_OF_SCOPE | AMBIGUOUS | TECHNICAL_ERROR
policy_revision: применённая редакция
review_route: определённый путь разбора
повтор обработки -> та же заявка, без новой ручной копии

Если используется порог score, его проверяют на отложенных данных и отдельно по нужным группам. Не копируйте чужое значение 0,8: оценки разных моделей несопоставимы без проверки. Некоторые неизвестные обращения получают высокие оценки знакомых категорий, поэтому приёмка включает именно такие трудные примеры, а не только очевидный бессмысленный текст.

Две метрики нужны одновременно

Считайте долю автоматически принятых заявок и качество среди них. Иначе система, отказавшаяся от всего, будет выглядеть безошибочной. Отдельно измеряйте сроки ручной очереди и количество потерянных или повторно созданных задач. Продуктовая польза появляется, когда автоматика берёт понятную часть работы, а сомнительная часть действительно разбирается.

  1. Подать обычное обращение с однозначной темой.
  2. Подать неизвестную тему с похожими словами.
  3. Подать сообщение на стыке двух категорий.
  4. Сымитировать недоступность модели.
  5. Повторить каждое событие и проверить единственный маршрут заявки.

После ручного решения сохраните итоговую категорию и причину первоначального отказа, не стирая историю. Это помогает понять, нужен ли новый класс или улучшение примеров. Переполнение очереди не следует лечить скрытым принятием всех меток: для него нужен предусмотренный режим ограниченной автоматизации и ответственный за backlog.

Начните с одного маршрута отказа в теневом режиме и разберите его фактические результаты. Для настройки достаточно обезличенных примеров, словаря классов и журнала переходов до решения оператора. Хороший финал этой работы — заявка либо обоснованно классифицирована, либо имеет видимый конечный путь разбора; исчезнувший category не должен означать исчезнувшую заявку.

Проверенные источники