Если страница опубликована, а sitemap старый, ищите разрыв между изменением данных и генератором XML. Сравните четыре времени: published_at страницы, старт задания, изменение sitemap-файла и ответ публичного URL. Эта последовательность сразу показывает, не запустилась задача, прочитала не ту базу или записала файл не в тот release.

Простой cron раз в сутки маскирует проблему задержкой и не знает, завершилась ли публикация успешно. Надёжнее запускать генерацию после commit публикации или как отдельную очередь, получающую сигнал о новом canonical URL. Сбой генератора не должен откатывать саму статью, но должен оставлять retry и заметное состояние.

Четыре отметки времени локализуют поломку

Что сравниваемЕсли значение староеГде искать
published_at записиСтраница ещё не опубликована в источникеПубликационный workflow
last run генератораСобытие или расписание не сработалоОчередь, cron, post-deploy hook
mtime sitemap.xmlГенератор завершился до записиЛог, права, путь текущего release
ETag/Last-Modified публичного XMLПрокси отдаёт старую копиюCDN, cache-control, origin path

Проверяйте именно публичный https://домен/sitemap.xml. Файл в каталоге сборки может быть новым, пока nginx обслуживает предыдущий release или CDN держит другой объект. HTTP 200 тоже недостаточен: найдите тестовый URL и убедитесь, что XML разбирается целиком.

Источником служит опубликованная модель, а не обход файлов

  • Выбирайте страницы со статусом published и окончательным canonical URL.
  • Не включайте 3xx, 4xx, noindex, служебные фильтры и альтернативы, которые canonical сводит к другому адресу.
  • Формируйте абсолютные URL одного согласованного host и протокола.
  • Меняйте lastmod только после существенного обновления страницы, а не при каждом запуске генератора.
  • При нескольких типах контента собирайте отдельные файлы и sitemap index, если это упрощает наблюдение.

Google рассматривает sitemap как подсказку о предпочтительных URL, а не как команду на индексирование. Поэтому генератор не должен пытаться перечислить все технически доступные адреса. Он публикует тот же набор canonical-страниц, который сайт считает актуальным.

Новый файл проходит проверку до замены старого

urls = selectPublishedCanonicalUrls()
xml = renderSitemap(urls)
validateXmlAndLimits(xml)
writeTemporaryFile(xml)
atomicReplace("/public/sitemap.xml")
recordRun(count(urls), checksum(xml))

Сначала создайте временный файл в той же файловой системе, проверьте XML и только затем переименуйте его на рабочий путь. При прямой записи робот способен скачать половину документа. Если генерация не прошла, оставьте предыдущий валидный sitemap и пометьте запуск как failed.

Размер и разбиение контролируются заранее

Протокол ограничивает один sitemap 50 000 URL и 50 МБ в несжатом виде. Не ждите достижения предела: генератор может вести количество URL и размер результата как метрики, а перед порогом перейти на индекс и несколько файлов. Сжатие экономит передачу, но не отменяет лимит несжатого содержимого.

После релиза нужен smoke test

  1. Создать или обновить тестовую публичную страницу.
  2. Дождаться успешного статуса генератора и получить его checksum.
  3. Скачать sitemap с публичного домена без локального кеша.
  4. Проверить XML, единственное вхождение URL и отсутствие удалённого адреса.
  5. Сравнить число опубликованных canonical URL с суммой элементов во всех sitemap.

Повторяйте этот тест после смены схемы URL, CMS, каталога релизов и CDN. Search Console полезен для ошибок обработки и даты чтения, но внутренний мониторинг должен заметить задание, которое не запускалось вовсе.

Для разбора собираем один полный цикл

Подготовьте ID тестовой страницы, её published_at и canonical, журнал запуска генератора, фактический путь файла, публичные заголовки sitemap и конфигурацию кеша. По этим данным можно исправить событие, источник или публикацию файла, не отправляя sitemap вручную после каждой статьи.

Проверенные источники