Магазин рулонных штор готовит новый подборщик. Пользователь задаёт ширину и цвет, а сайт создаёт множество адресов результатов. Рядом работает инструкция по замеру окна. Владелец хочет ограничить обход подборщика, сохранив инструкцию и карточки штор. Для robots.txt это три разных требования, которые нужно связать с настоящими маршрутами сайта.

Разберём, как превратить такое задание в проверяемый файл. Пути в примере придуманы для объяснения: перед переносом правил их заменяют фактическими адресами и учитывают весь действующий robots.txt.

Задачи robots.txt условного магазина штор: ограничить обход результатов подбора, сохранить инструкцию и карточки, сопоставить реальные пути, полный файл и контрольные URL.

Опишите, что должно остаться доступным

Сначала откройте подборщик и запишите адрес после выбора каждого параметра. Уточните, меняется ли путь, строка запроса или только состояние интерфейса. Ограничение для каталога /shade-picker/ не решит задачу, если результаты в действительности открываются через другой маршрут.

Для каждой области укажите нужное поведение. В нашем примере карточки товаров и инструкция должны быть доступны роботу; сочетания параметров подборщика – ограничены. Обход не равен индексации: адрес, запрещённый для получения, иногда всё равно известен Google по ссылкам. Если цель – убрать страницу из поиска, нужен отдельный способ, а не автоматическая подмена задачи строкой Disallow.

Не храните в этом перечне пароли или закрытые сведения. Общедоступный robots.txt сообщает правила роботам и не создаёт защищённую зону.

Выясните, какой файл и какая группа управляют обходом

Сохраните исходный ответ по адресу robots.txt в корне нужного сайта. Сверьте протокол, доменное имя и порт. Настройка на одном поддомене не переносится сама на остальные; перечень адресов проверки должен относиться к правильному источнику правил.

Найдите способ формирования файла: сохранённый текст, генератор CMS или расширение. Зафиксируйте, где должна появиться правка и кто сможет вернуть предыдущую версию. Замена ответа вручную бесполезна, если следующий выпуск сайта восстановит старый вариант.

Прочитайте все группы роботов. Отдельная подходящая группа Googlebot может сделать изменение в общей группе неэффективным для Google. В его интерпретации выбирается наиболее конкретная подходящая группа; отдельные группы для того же агента объединяются, но правила общей группы со звёздочкой к ним автоматически не добавляются. Поэтому разбор только последних строк файла ненадёжен.

Составьте правило вместе с исключением

Для самостоятельного учебного файла без других групп решение может выглядеть так:

User-agent: *
Disallow: /shade-picker/
Allow: /shade-picker/measure-guide/

Первая строка обозначает общую группу. Запрет относится к путям, начинающимся с /shade-picker/; исключение сохраняет получение инструкции и вложенных в неё адресов. Это не готовая конфигурация для любого магазина: в существующем файле нужно проверить остальные группы и пересечения.

Для Google более конкретное совпадение важнее позиции строки. При равной специфичности противоречащих Allow и Disallow применяется менее ограничивающее правило. Регистр пути также имеет значение.

Файл сохраняют как обычный текст UTF-8 с точным именем robots.txt. Страница справки, которая показывает код в оформлении сайта, не заменяет ответ по нужному адресу. Директива Sitemap может сообщать полный адрес карты сайта, но не заставляет индексировать её содержимое. Crawl-delay Google не поддерживает как настройку частоты обхода.

Подберите случаи, на которых ошибка станет заметной

Проверяйте границы действия правила. Для нашего самостоятельного файла полезны следующие ожидания.

Адресный путьОжиданиеЧто он проверяет
/shade-picker/?width=80Получение запрещеноОсновной маршрут результатов
/shade-picker/measure-guide/Получение разрешеноБолее конкретное исключение
/shade-picker/measure-guide/photos/Получение разрешеноПродолжение разрешённого пути
/shade-picker-help/Подходящего запрета нетПохожее имя с другим продолжением
/Shade-picker/Подходящего запрета нетДругой регистр
/shade-picker?width=80Подходящего запрета нетОтсутствие слеша перед параметром

Последний случай особенно полезен при согласовании: владелец мог назвать его тем же подборщиком, хотя строка запрета его не охватывает. Сначала уточните реальную схему и соседние полезные маршруты, затем меняйте правило. Удаление одного символа без такого разбора способно расширить область ограничения.

Дополните набор категорией, товаром, нужными языками и ресурсами оформления. Проверьте доступ к скриптам, стилям и изображениям, от которых зависит понимание страницы. Для каждого результата сохраните объясняющее правило с учётом полного файла и выбранного робота.

Условный robots.txt с запретом /shade-picker/ и исключением /shade-picker/measure-guide/: шесть ожидаемых результатов с учётом слеша, регистра и продолжения пути.

Примите ответ сервера и назначьте наблюдение

После публикации получите robots.txt заново обычным запросом. Сравните содержимое с согласованной версией, проверьте ответ сервера и отсутствие неожиданной HTML-заглушки. Убедитесь, что вместе с изменением не исчезли чужие группы. Затем повторите контрольный набор на опубликованном файле.

Успешное сохранение поля CMS ещё не подтверждает правильный внешний ответ. А корректный внешний ответ не доказывает, что Google уже перечитал правила: может использоваться сохранённая версия. Дату исправления, подтверждение ответа и последующие данные обхода записывают отдельно. Ни один из этих этапов сам по себе не обещает индексацию или переходы.

В результате у владельца остаётся понятное решение для подборщика, проверенное исключение для инструкции и способ заметить случайное закрытие полезных страниц. Настройку файла вместе с приёмкой связанных шаблонов можно обсудить в рамках внутренней SEO-оптимизации сайта.

Нужна помощь с вашим проектом?

Оставьте имя и телефон. Свяжусь с вами, чтобы обсудить задачу, объём работ и следующий шаг.

Обсудить проект