Если инструкция требует всегда выбрать одну категорию, незнакомое обращение всё равно получит правдоподобную метку. Добавьте явный исход «не классифицировано» и объяснимую причину. Сначала проверьте сообщения вне справочника и неоднозначные примеры: они должны попадать в предусмотренный разбор, а не в случайный отдел.
Отказ модели не должен оставлять заявку без владельца процесса. Определите очередь, срок разбора и дальнейшее действие оператора. Это отличается от бизнес-категории «Прочее», у которой могут быть собственные исполнители. Нельзя считать все неудачные запросы к API содержательным решением о неизвестной теме.
Разделите четыре разных исхода
| Исход | Значение | Следующий шаг |
|---|---|---|
| Категория принята | Есть достаточное основание по политике | Обычная маршрутизация |
| Неизвестная тема | Не подходит справочник | Ручной разбор и возможная новая категория |
| Неоднозначность | Несколько допустимых трактовок | Уточнение или выбор оператором |
| Техническая ошибка | Решение не получено | Ограниченное восстановление обработки |
В контракте результата можно разделить status, category и reason. Для отказа category отсутствует, а причина принадлежит ограниченному словарю. Ошибка формата ответа — техническая проблема, а не новый класс. Так отчёт покажет, вырос поток неизвестных тем или сломался провайдер, вместо одной общей колонки null.
Отказ — решение приложения, а не новая вероятность
scikit-learn разделяет оценивание класса и принятие действия на основе оценки. Документация проверена 21 октября 2026 года. Из этого следует полезное инженерное разделение: модель предлагает кандидатов, а политика решает, принять метку или направить на разбор. Само добавление слова UNKNOWN в промпт не проверяет качество такого решения.
Условный контракт:
status: accepted | abstained | failed
category: только для accepted
reason: OUT_OF_SCOPE | AMBIGUOUS | TECHNICAL_ERROR
policy_revision: применённая редакция
review_route: определённый путь разбора
повтор обработки -> та же заявка, без новой ручной копииЕсли используется порог score, его проверяют на отложенных данных и отдельно по нужным группам. Не копируйте чужое значение 0,8: оценки разных моделей несопоставимы без проверки. Некоторые неизвестные обращения получают высокие оценки знакомых категорий, поэтому приёмка включает именно такие трудные примеры, а не только очевидный бессмысленный текст.
Две метрики нужны одновременно
Считайте долю автоматически принятых заявок и качество среди них. Иначе система, отказавшаяся от всего, будет выглядеть безошибочной. Отдельно измеряйте сроки ручной очереди и количество потерянных или повторно созданных задач. Продуктовая польза появляется, когда автоматика берёт понятную часть работы, а сомнительная часть действительно разбирается.
- Подать обычное обращение с однозначной темой.
- Подать неизвестную тему с похожими словами.
- Подать сообщение на стыке двух категорий.
- Сымитировать недоступность модели.
- Повторить каждое событие и проверить единственный маршрут заявки.
После ручного решения сохраните итоговую категорию и причину первоначального отказа, не стирая историю. Это помогает понять, нужен ли новый класс или улучшение примеров. Переполнение очереди не следует лечить скрытым принятием всех меток: для него нужен предусмотренный режим ограниченной автоматизации и ответственный за backlog.
Начните с одного маршрута отказа в теневом режиме и разберите его фактические результаты. Для настройки достаточно обезличенных примеров, словаря классов и журнала переходов до решения оператора. Хороший финал этой работы — заявка либо обоснованно классифицирована, либо имеет видимый конечный путь разбора; исчезнувший category не должен означать исчезнувшую заявку.