Не нажимайте «повторить для всех», пока парк уже разделён между двумя версиями. Сначала получите снимок по каждому target: какая версия реально запущена после последней загрузки, получил ли он задание, скачал ли artifact и какой код вернул. Иначе повтор может обновить здоровые устройства и снова обойти именно те, которым не хватает места, питания или совместимого образа.

Статус общей кампании скрывает распределение. Даже completed job может включать разные terminal states отдельных executions, а сообщение об успешной установке не доказывает, что устройство перезагрузилось в нужный slot. Истиной становится инвентарная телеметрия после reboot: firmware version, image digest, boot slot и boot reason.

Карта парка начинается с одной строки на устройство

device_id: meter-042
hardware_revision: rev-c
current_version: 4.7.1
target_version: 4.8.0
job_id: ota-2026-10-04-a
job_state: IN_PROGRESS
step: verify_signature
last_error: signature_key_unknown
last_seen: 2026-10-04T20:41:12Z
battery_percent: 82
free_storage_mb: 36
reported_image_digest: sha256:example-redacted

Не включайте secret, полный серийный номер или персональные данные владельца в рабочую выгрузку. Для анализа достаточно технического device ID. Сгруппируйте строки по hardware revision, исходной версии, региону, каналу связи и error code: один доминирующий признак обычно быстрее указывает на несовместимый artifact или условие установки.

Последний подтверждённый этап задаёт следующую проверку

Последний этапЧто это означаетСледующий вопрос
Targeted, но нет QUEUEDУстройство не попало в execution listПравильна ли группа и snapshot/continuous targeting
QUEUEDЗадание создано, устройство его не началоOnline ли клиент и подписан ли на job notifications
IN_PROGRESS без downloadКлиент принял работу, но не получил artifactURL, TLS, DNS, срок ссылки и свободное место
Downloaded, verify failedБиты пришли, проверка не прошлаDigest, подпись, trust key и model compatibility
Installed, version стараяЗапись выполнена, boot не подтвердил образBoot slot, rollback reason и watchdog
SUCCEEDED, telemetry стараяControl plane и inventory расходятсяКогда и чем device подтверждает running version

AWS IoT Jobs различает QUEUED, IN_PROGRESS и terminal states вроде SUCCEEDED, FAILED и TIMED_OUT. Переход в SUCCEEDED сообщает само устройство. Поэтому statusDetails полезно заполнять этапом и кодом, но backend всё равно сверяет reported firmware после запуска приложения.

Rollout останавливается по заранее записанным условиям

  1. Выпустить artifact с digest, подписью и явной матрицей совместимых hardware revisions.
  2. Начать с небольшой canary-группы, в которой есть основные варианты железа и связи.
  3. Сравнить install success, reboot success, rollback, battery и ключевые продуктовые метрики.
  4. Расширять скорость только после стабильного окна наблюдения.
  5. Остановить выдачу новым устройствам при достижении оговорённого failure или timeout criterion.
  6. Разбирать уже начатые executions отдельно; abort кампании не обязан откатить установленный образ.

AWS позволяет отдельно настроить rollout, abort, timeout и retry. Это четыре разных рычага: скорость не заменяет критерий остановки, timeout не исправляет несовместимость, а retry нужен только для ошибок, которые действительно могут исчезнуть. Проценты и размер canary выбираются по риску конкретного устройства, а не копируются из чужой кампании.

Повтор безопасен только после классификации ошибки

  • Transient download timeout можно повторить с тем же artifact и ограниченным retry budget.
  • Недостаток storage требует освобождения места или меньшего образа, а не бесконечных попыток.
  • Signature failure блокирует установку до исправления key chain или artifact.
  • Hardware mismatch исключает устройство из target и ведёт к отдельной сборке.
  • Rollback после reboot требует чтения bootloader reason и health check новой версии.
  • Offline-устройства остаются отдельной когортой с expiry: устаревшую прошивку нельзя выдавать спустя месяцы автоматически.

Если устройство могло потерять питание во время записи, процедура восстановления определяется bootloader и схемой A/B slots. Нельзя обещать универсальный rollback одной серверной кнопкой. Зафиксируйте поддерживаемый путь для каждой hardware revision и протестируйте его на стенде с намеренным обрывом питания.

Кампания завершена после сверки с inventory, а не по зелёному баннеру

Посчитайте целевой парк, исключённые устройства и каждую terminal category так, чтобы сумма сходилась. Для выбранной выборки перезагрузите устройства повторно и убедитесь, что версия и digest не откатываются. Отдельно проверьте функциональный health signal: новая строка версии при неработающем датчике не является успешным обновлением.

Для разбора подготовьте job ID, artifact digest, матрицу hardware revisions, распределение execution states и пять обезличенных statusDetails для каждого крупного кода ошибки. Этого достаточно, чтобы решить: возобновлять rollout, выпускать новый образ или переводить отдельную модель в ручное восстановление.

Проверенные источники