Начинайте не с редактирования всего файла, а с одного URL, который должен попадать в поиск. Получите `https://example.com/robots.txt` так, как его видит внешний клиент, и сохраните ответ. Затем отдельно проверьте страницу. Если файл разрешает обход, причина уже не в robots.txt; если запрещает, нужно найти конкретную группу и путь.
Безопасное исправление открывает только нужный раздел. Удаление общего `Disallow: /` может одновременно открыть внутренний поиск, корзину и технические параметры. Перед публикацией сравните старое и новое решение хотя бы для разрешаемой страницы, соседнего служебного URL и нескольких статических ресурсов.
Три снимка отделяют блокировку от другой ошибки
| Снимок | Что зафиксировать | Что подтверждает |
|---|---|---|
| robots.txt | status, Content-Type, тело, конечный URL | Робот действительно получает этот файл |
| Проблемная страница | status, canonical, robots meta/header | Страница пригодна для индексации после обхода |
| Search Console | последний crawl и причина | Как Google интерпретирует конкретный URL |
| Внутренняя ссылка | href и источник ссылки | URL можно обнаружить без ручной отправки |
| Sitemap | точное абсолютное значение loc | В sitemap нет другого варианта адреса |
Проверяйте конечный ответ после редиректов. Частая ловушка: CDN отдаёт один robots.txt на основном домене, а origin или поддомен — другой. Файл действует только на тот протокол, host и port, где размещён; правило соседнего хоста не переносится автоматически.
Решение проверяется на конкретных путях
User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /catalog/
Sitemap: https://example.com/sitemap.xmlЭто условный пример. В Robots Exclusion Protocol группы начинаются с `User-agent`, после чего идут правила. Для Google при совпадениях учитывается наиболее конкретный путь. Не рассчитывайте на порядок строк как на универсальный механизм приоритета для всех роботов; сначала проверьте интерпретацию нужного поисковика.
Открываем узкий префикс, а не весь сайт
- Замените широкое правило только после списка URL, которые оно затрагивает.
- Не закрывайте CSS и JavaScript, необходимые для отрисовки индексируемой страницы.
- Оставьте запрет на реальные служебные разделы, если им не нужен обход.
- Проверьте отдельные группы Googlebot, AdsBot и других агентов, если они есть.
- Не публикуйте путь с секретом: robots.txt доступен всем и не является контролем доступа.
- Для приватного содержимого используйте авторизацию, а не надежду на Disallow.
RFC 9309 прямо рассматривает robots.txt как правила для crawler, а не как авторизацию. Если URL нельзя показывать посторонним, сервер должен отклонять запрос без полномочий. Скрытый путь, перечисленный в публичном robots.txt, напротив, становится заметнее.
Crawl и index — разные решения
Запрещённый URL всё равно может появиться в результатах без описания, если Google узнал адрес из ссылок. И обратная ситуация: после снятия Disallow страница не обязана сразу войти в индекс. Робот должен заново получить URL, увидеть нормальный status, содержимое, canonical и отсутствие `noindex`.
| Цель | Подход | Почему |
|---|---|---|
| Разрешить обход | Исправить Allow/Disallow | Crawler сможет запросить URL |
| Убрать HTML из поиска | Разрешить crawl + noindex | Робот должен прочитать директиву |
| Закрыть приватные данные | Аутентификация/403 | robots.txt не защищает ресурс |
| Удалить отсутствующий URL | 404 или 410 | Сервер сообщает об отсутствии |
| Объединить дубли | canonical/redirect по ситуации | Это не задача robots.txt |
Контрольный прогон делают до ожидания переобхода
- Получить robots.txt по HTTPS без авторизации и проверить status 200.
- Применить правила к трём контрольным URL: нужному, служебному и статическому.
- Открыть нужную страницу внешним запросом и проверить конечный status.
- Убедиться, что в HTML и X-Robots-Tag нет конфликтующего noindex.
- Проверить canonical, внутреннюю ссылку и запись в sitemap.
- Запустить URL Inspection и запросить повторный обход только после этих проверок.
Результат готов, когда нужный URL разрешён, соседние служебные пути остались закрыты, сервер не требует сессии от поискового робота, а Search Console видит актуальный файл. Для разбора подготовьте robots.txt до и после, четыре контрольных URL и снимок причины из URL Inspection.