Не начинайте с правила `Disallow: /*?`. В параметрах могут жить и бесполезная сортировка, и самостоятельный цвет товара, который нужен пользователям из поиска. Сначала соберите реальные URL из Search Console, серверных логов и обхода сайта, затем разложите их по назначению.
Безопасный первый результат — таблица из нескольких классов URL. Она показывает, где шаблон создаёт бесконечные комбинации, где sitemap ссылается на неканоническую версию, а где параметр действительно меняет ассортимент или содержание страницы.
Одинаковый знак вопроса скрывает разные страницы
| Пример | Что меняет | Предварительное решение |
|---|---|---|
| ?sort=price | Только порядок | Canonical на базовый список |
| ?utm_source=mail | Атрибуцию | Не использовать во внутренних ссылках |
| ?session=... | Сессию | Убрать из публичных URL |
| ?color=green | Набор товаров | Оценить поисковую ценность |
| ?page=3 | Продолжение списка | Проверить пагинацию отдельно |
| ?color=none&size=none | Пустой результат | 404 для бессмысленной комбинации |
Google предупреждает, что фасетная навигация может породить почти бесконечное пространство URL и расходовать ресурсы обхода. При этом полезные варианты допустимо делать отдельными URL. Решение принимается по содержимому и спросу, а не по самому факту наличия query string.
Источник ссылок важнее списка в индексе
- Меню и карточки ссылаются на URL с UTM или session ID.
- Фильтр генерирует все перестановки параметров в разном порядке.
- Sitemap содержит sort, view или временные значения.
- Canonical формируется из текущей адресной строки вместе с query.
- JavaScript добавляет crawlable links на каждую комбинацию фасетов.
- Внешние ссылки закрепили старый параметрический адрес.
Исправление только метатега оставляет генератор мусорных ссылок включённым. Сначала перестаньте публиковать нежелательные варианты: используйте чистые URL во внутренних ссылках и sitemap, нормализуйте порядок допустимых параметров и не переносите пользовательскую сессию в адрес.
Canonical применяют только к настоящим дублям
Базовая категория: https://example.com/catalog/shoes/
Сортировка: https://example.com/catalog/shoes/?sort=price
Canonical: https://example.com/catalog/shoes/
Полезный фасет: https://example.com/catalog/shoes/?color=green
Canonical: self, если страница самостоятельна и индексируемаЭто условная карта. Google рассматривает canonical как сигнал предпочтительной версии, а не команду. Он должен совпадать с внутренними ссылками, sitemap и редиректами. Нельзя указывать базовую категорию как canonical для фильтра, если на странице другой самостоятельный набор и вы хотите получать по нему трафик.
Noindex, robots.txt и 404 решают разные задачи
| Цель | Механизм | Ограничение |
|---|---|---|
| Объединить дубль | rel=canonical | Нужны согласованные сигналы |
| Убрать доступную страницу из индекса | robots meta noindex | Crawler должен прочитать страницу |
| Сократить обход фасетов | robots.txt/архитектура ссылок | URL может остаться известным |
| Несуществующая комбинация | HTTP 404 | Не redirect на общую заглушку |
| Старый URL с заменой | 301/308 по ситуации | Только при реальном эквиваленте |
Если URL уже в индексе, одновременный запрет в robots.txt может помешать роботу увидеть новый noindex. Сначала дайте поисковику доступ к сигналу исключения или корректному status, дождитесь обработки, а ограничения crawl проектируйте отдельно. Не используйте robots.txt как средство защиты приватных данных.
Исправление выпускают на одном типе параметра
- Выбрать один класс, например sort, и получить 20 реальных URL.
- Исправить внутренние ссылки и убрать класс из sitemap.
- Проверить status, canonical и robots meta в сыром HTML.
- Убедиться, что полезные фильтры и товары остались доступны.
- Пересканировать сайт и сравнить число создаваемых комбинаций.
- После повторного обхода проверить группу в Search Console.
Успех — это не мгновенное исчезновение всех старых адресов, а прекращение их генерации, согласованные сигналы и снижение числа новых параметрических URL. Для следующего разбора сохраните примеры каждой категории, источник ссылки и выбранное правило; по одному URL нельзя оценить весь фасетный граф.