Incremental materialized view ClickHouse работает как insert trigger: её SELECT выполняется на новом блоке, вставленном в source table, и результат пишется в target. Она не сканирует автоматически строки, которые существовали до CREATE VIEW, и не реагирует на каждое последующее изменение старых данных. Поэтому сначала выясните, когда и куда был выполнен исходный INSERT.

Выберите один потерянный event_id и узкое закрытое окно времени. Проверьте source и target на одном узле или через одинаковый Distributed-контур. Общая разница COUNT(*) на миллиардах строк скрывает границу сбоя, а один идентификатор позволяет сопоставить query log, фильтр view и версию схемы.

Пропуск появляется в разных местах конвейера

ПризнакВероятная причинаПроверка
Нет всех строк до даты CREATE VIEWИстория не была backfilledВремя создания view и min(event_time) в target
Пропуски только от одного producerINSERT идёт в другую таблицу или replicaquery_log, insert target, cluster topology
Теряется определённый тип событияWHERE, cast или join в SELECT viewПрогнать SELECT view на исходном блоке
Source содержит retry, target отличаетсяДедупликация или версия сервераinsert_deduplication_token, async settings, release behavior
Строка есть физически, итог меньшеSumming/Aggregating/Replacing semanticsORDER BY key и запрос с FINAL/merge states

Mutation, partition drop и background merge в source не запускают заново обычную incremental view. Если отчёт должен отражать изменяемое текущее состояние всей таблицы, оцените refreshable view либо явный процесс пересчёта; insert-time агрегация лучше подходит для append-only фактов.

Сверка начинается с определения объектов

SHOW CREATE TABLE analytics.events;
SHOW CREATE TABLE analytics.events_mv;
SHOW CREATE TABLE analytics.events_agg;

SELECT
  min(event_time), max(event_time),
  count(), uniqExact(event_id)
FROM analytics.events
WHERE event_time >= '2026-10-01 08:00:00'
  AND event_time <  '2026-10-01 08:10:00';

Имена и окно замените своими. SHOW CREATE фиксирует реальный source после всех переименований, условие WHERE и target engine. Затем выполните эквивалентный подсчёт в target. Если target хранит AggregateFunction states, используйте правильные merge-функции; прямой count строк target не равен числу исходных событий.

SELECT view нужно прогнать на том же наборе

Скопируйте SELECT из SHOW CREATE и выполните его как обычный запрос с дополнительным фильтром по контрольному окну. Так видны неверный timezone cast, nullable-условие и INNER JOIN, который не нашёл dimension в момент вставки. Позднее появление строки в join-таблице не дополняет уже обработанный блок.

  • Сравнить тип event_id и event_time до и после выражений CAST и toDateTime.
  • Проверить WHERE на null, пустые строки и граничное значение времени.
  • Убедиться, что producer вставляет именно в source table, указанную у view.
  • Проверить ошибки INSERT: исключение view обычно должно сделать неуспешной всю операцию, но клиент мог повторить её иначе.
  • Сопоставить ClickHouse version и настройки async insert/deduplication на всех узлах.

Backfill отделяют от живого потока

Не запускайте INSERT SELECT всей истории поверх работающего потока без границы: можно дважды посчитать события, которые пришли во время backfill. Зафиксируйте cutoff, создайте или очистите отдельный target, перенесите диапазоны до cutoff порциями, затем обработайте хвост и атомарно переключите читателей. Для крупной истории контролируйте parts, memory и merge pressure.

Если потеря ограничена несколькими event_id, точечная дозагрузка допустима только после проверки уникальности бизнес-ключа и поведения target engine. В агрегатной таблице повторная вставка может не «заменить» результат, а добавить ещё одно состояние. План отката должен сохранять старый target до сверки.

Приёмка сравнивает ключи, а не только totals

  1. Вставить canary-события с новыми уникальными event_id через каждый producer path.
  2. Дождаться подтверждённого INSERT и найти ключи в source и target.
  3. Сверить несколько закрытых окон по uniqExact ключа и бизнес-суммам.
  4. Проверить retry того же блока на тестовом контуре с теми же settings.
  5. Поставить алерт на расхождение окон и сохранить version/settings рядом с метрикой.

Для анализа подготовьте SHOW CREATE трёх объектов, ClickHouse version, cluster topology, способ вставки и пару обезличенных event_id. Полный production dump не требуется. Эти данные позволяют понять, нужен ли backfill, исправление SELECT или смена модели представления.

Проверенные источники