Низкий score не доказывает, что реплика безвредна. В документации Google confidence означает вероятность принадлежности текста категории, а не тяжесть возможного вреда. Короткое завуалированное оскорбление может быть редким для модели, но болезненным для адресата. Решение о блокировке нельзя сводить к одному универсальному числу.

Сначала запишите model/version, распознанный language code, category scores, применённые thresholds и итоговое действие. Для русского у Cloud Natural Language указана ограниченная поддержка некоторых типов текста и рекомендована тщательная проверка на своём сценарии. Без этих полей два одинаковых сообщения невозможно честно сравнить после обновления модели.

Score не равен готовому решению

СбойКак выглядитЧто измерять
false negativeоскорбление пропущеноrecall по категории и языку
false positiveнейтральный текст заблокированprecision и частоту апелляций
обфускациясимволы, пробелы, смешанный алфавитрезультат до/после нормализации
контекстцитата или ответ меняет смыслкачество на цепочках сообщений
driftкачество падает со временемметрики по model version и неделям

Сначала определите цену ошибок. В детском чате пропуск угрозы и лишняя отправка на ручную проверку имеют разный риск; в форуме взрослых участников баланс может быть другим. Порог выбирается из этих требований и измеренного распределения, а не копируется из чужого примера API.

Обходы начинаются с осторожной нормализации

Сохраняйте исходный текст в защищённом контуре, а в модель отправляйте согласованное представление: Unicode normalization, ограниченное схлопывание повторов и выявление невидимых символов. Не удаляйте пунктуацию и пробелы бездумно — они могут менять язык и смысл. Сравнивайте score исходного и нормализованного вариантов как отдельные признаки.

record_id=mod_8421
language=ru
model_version=moderation-v2
raw_hash=sha256:...
normalized_rules=unicode-nfkc+invisible-mark-check
scores.toxic=0.xx
scores.insult=0.yy
threshold_profile=ru-chat/12
action=review

В журнале лучше хранить hash, rule version и ограниченный фрагмент только там, где он действительно нужен модератору. Полный текст может содержать персональные данные и травмирующий контент. Доступ, срок хранения и аудит просмотра задаются заранее.

Порог выбирается на размеченной выборке

  • Разделить данные по языку, длине, типу сообщества и категории вреда.
  • Отложить test set, который не участвует в настройке threshold.
  • Измерить precision, recall и confusion matrix на нескольких порогах.
  • Разбирать отдельно false negatives с высокой тяжестью последствия.
  • Документировать model version, датасет и владельца решения.

Разметку спорных примеров выполняют несколько подготовленных людей с понятной политикой и процедурой расхождений. Случайная сотня сообщений из одного дня не покрывает сленг, смешанные языки и новые обходы. Добавляйте реальные пропуски в regression set, но не допускайте утечки test set в обучающие подсказки.

Контекст и апелляция остаются у человека

Цитата оскорбления для жалобы, самоирония и нападение на человека могут содержать похожие слова. Для пограничных случаев используйте недавний контекст, историю предыдущих решений и ручную очередь. Высокорисковые санкции — длительная блокировка или ограничение доступа — требуют объяснимой политики и доступной апелляции.

Automation может автоматически пропустить очевидно безопасное, скрыть очевидно запрещённое на короткий срок и направить серую зону модератору. Такие три полосы надёжнее одной границы. При этом срочные угрозы и сведения о самоповреждении обрабатываются отдельными процедурами, а не обычным фильтром брани.

Мониторинг ловит дрейф

  1. Сравнивать качество по языку и category, а не только общей долей блокировок.
  2. Еженедельно разбирать выборку пропущенных жалоб и успешных апелляций.
  3. Запускать regression set перед сменой model version или normalization rules.
  4. Вводить canary и возможность быстро вернуть предыдущий threshold profile.
  5. Следить за временем ручной очереди и нагрузкой на модераторов.

NIST AI RMF рекомендует тестирование, оценку, верификацию и мониторинг на всём жизненном цикле. Исправление доказано не ростом среднего score, а снижением критичных false negatives при приемлемом количестве ложных срабатываний. Для эскалации передайте обезличенный test slice, метрики, версии и примеры reason codes, но не публичный архив пользовательских сообщений.

Проверенные источники