Если страница опубликована, а sitemap старый, ищите разрыв между изменением данных и генератором XML. Сравните четыре времени: published_at страницы, старт задания, изменение sitemap-файла и ответ публичного URL. Эта последовательность сразу показывает, не запустилась задача, прочитала не ту базу или записала файл не в тот release.
Простой cron раз в сутки маскирует проблему задержкой и не знает, завершилась ли публикация успешно. Надёжнее запускать генерацию после commit публикации или как отдельную очередь, получающую сигнал о новом canonical URL. Сбой генератора не должен откатывать саму статью, но должен оставлять retry и заметное состояние.
Четыре отметки времени локализуют поломку
| Что сравниваем | Если значение старое | Где искать |
|---|---|---|
| published_at записи | Страница ещё не опубликована в источнике | Публикационный workflow |
| last run генератора | Событие или расписание не сработало | Очередь, cron, post-deploy hook |
| mtime sitemap.xml | Генератор завершился до записи | Лог, права, путь текущего release |
| ETag/Last-Modified публичного XML | Прокси отдаёт старую копию | CDN, cache-control, origin path |
Проверяйте именно публичный https://домен/sitemap.xml. Файл в каталоге сборки может быть новым, пока nginx обслуживает предыдущий release или CDN держит другой объект. HTTP 200 тоже недостаточен: найдите тестовый URL и убедитесь, что XML разбирается целиком.
Источником служит опубликованная модель, а не обход файлов
- Выбирайте страницы со статусом published и окончательным canonical URL.
- Не включайте 3xx, 4xx, noindex, служебные фильтры и альтернативы, которые canonical сводит к другому адресу.
- Формируйте абсолютные URL одного согласованного host и протокола.
- Меняйте lastmod только после существенного обновления страницы, а не при каждом запуске генератора.
- При нескольких типах контента собирайте отдельные файлы и sitemap index, если это упрощает наблюдение.
Google рассматривает sitemap как подсказку о предпочтительных URL, а не как команду на индексирование. Поэтому генератор не должен пытаться перечислить все технически доступные адреса. Он публикует тот же набор canonical-страниц, который сайт считает актуальным.
Новый файл проходит проверку до замены старого
urls = selectPublishedCanonicalUrls()
xml = renderSitemap(urls)
validateXmlAndLimits(xml)
writeTemporaryFile(xml)
atomicReplace("/public/sitemap.xml")
recordRun(count(urls), checksum(xml))Сначала создайте временный файл в той же файловой системе, проверьте XML и только затем переименуйте его на рабочий путь. При прямой записи робот способен скачать половину документа. Если генерация не прошла, оставьте предыдущий валидный sitemap и пометьте запуск как failed.
Размер и разбиение контролируются заранее
Протокол ограничивает один sitemap 50 000 URL и 50 МБ в несжатом виде. Не ждите достижения предела: генератор может вести количество URL и размер результата как метрики, а перед порогом перейти на индекс и несколько файлов. Сжатие экономит передачу, но не отменяет лимит несжатого содержимого.
После релиза нужен smoke test
- Создать или обновить тестовую публичную страницу.
- Дождаться успешного статуса генератора и получить его checksum.
- Скачать sitemap с публичного домена без локального кеша.
- Проверить XML, единственное вхождение URL и отсутствие удалённого адреса.
- Сравнить число опубликованных canonical URL с суммой элементов во всех sitemap.
Повторяйте этот тест после смены схемы URL, CMS, каталога релизов и CDN. Search Console полезен для ошибок обработки и даты чтения, но внутренний мониторинг должен заметить задание, которое не запускалось вовсе.
Для разбора собираем один полный цикл
Подготовьте ID тестовой страницы, её published_at и canonical, журнал запуска генератора, фактический путь файла, публичные заголовки sitemap и конфигурацию кеша. По этим данным можно исправить событие, источник или публикацию файла, не отправляя sitemap вручную после каждой статьи.