Не отправляйте каждое изменение категории прямо в обучение. Оператор мог исправить ошибку модели, передать заявку по загрузке команды или отреагировать на новую информацию клиента. Сначала сохраняйте причину правки и данные, доступные в момент исходного решения. Тогда пример действительно учит классификации, а не воспроизводит случайный рабочий маршрут.

Возьмите небольшую выборку исправлений и разберите её по причинам. Если два оператора по-разному трактуют одну заявку, увеличение числа таких примеров закрепит противоречие. Нужны определения категорий и процесс согласования спорных меток. В обучающий набор попадает проверенное решение, а не должность последнего человека, нажавшего кнопку.

Что означает изменение в журнале

Причина правкиПодходит ли как новая метка
Неверно понята тема исходного текстаДа, после проверки
Отдел перегружен, задачу передали соседямНе как исправление смыслового класса
Клиент позднее сменил вопросТолько для соответствующего нового состояния
Справочник категорий изменёнНужна явная миграция редакции
Оператор не указал причинуСначала разбор, затем решение о включении

Храните связь между исходным предсказанием, исправлением, редакцией справочника и подтверждением разметки. Содержимое обращения используйте в разрешённом объёме, с удалением ненужных персональных данных. Доступ к журналу и право включать данные в обучение — разные решения; рабочая видимость сообщения не означает автоматического разрешения на любое его использование.

Обновление примеров — отдельный выпуск

Условная цепочка:
правка -> причина и доступный тогда контекст
проверка -> согласованная смысловая метка
набор -> версия, состав и происхождение
обучение / правила / примеры промпта -> отдельная редакция
валидация -> независимые данные
выпуск -> возможность вернуть предыдущий комплект

Исправления можно использовать по-разному: уточнить словарь, добавить проверенные примеры в инструкцию, изменить детерминированное правило или обучить модель. Эти способы не равнозначны. Если ошибка вызвана отсутствующей категорией, дообучение прежнего набора меток не создаст корректное бизнес-определение. Сначала исправляют контракт классификации.

scikit-learn предупреждает об утечке данных: использование информации, недоступной во время предсказания, делает оценку чрезмерно оптимистичной. Документация проверена 21 октября 2026 года. Для диалогов это означает, в частности, не подсовывать будущий ответ оператора как часть исходного обращения. Разделение обучающих и проверочных данных выполняют до настройки на них.

Один диалог не должен оказаться по обе стороны проверки

  1. Сгруппировать повторные версии одной заявки.
  2. Проверить дубли и близкие копии текста.
  3. Разнести связанные примеры между наборами по согласованной схеме.
  4. Оценить новые правила на независимом наборе.
  5. Разобрать регрессии прежних категорий до рабочего выпуска.

Случайное разделение отдельных сообщений может оставить соседние фразы одного диалога и в обучении, и в тесте. Результат будет красивым, но не покажет работу на новых обращениях. Сохраняйте группировку и временные границы, подходящие вашей задаче. Окончательный тест не используют многократно для подбора лучшего набора примеров.

После выпуска следите за новыми подтверждёнными исправлениями, сохраняя и прежний контрольный набор. Возврат версии должен включать модель, правила обработки и справочник, если они менялись совместно. На разбор полезнее принести десяток тщательно объяснённых правок, чем большой файл без причин: он покажет, что действительно нужно учить и где команда ещё не договорилась о правильной метке.

Проверенные источники