Магазин рулонных штор готовит новый подборщик. Пользователь задаёт ширину и цвет, а сайт создаёт множество адресов результатов. Рядом работает инструкция по замеру окна. Владелец хочет ограничить обход подборщика, сохранив инструкцию и карточки штор. Для robots.txt это три разных требования, которые нужно связать с настоящими маршрутами сайта.
Разберём, как превратить такое задание в проверяемый файл. Пути в примере придуманы для объяснения: перед переносом правил их заменяют фактическими адресами и учитывают весь действующий robots.txt.

Опишите, что должно остаться доступным
Сначала откройте подборщик и запишите адрес после выбора каждого параметра. Уточните, меняется ли путь, строка запроса или только состояние интерфейса. Ограничение для каталога /shade-picker/ не решит задачу, если результаты в действительности открываются через другой маршрут.
Для каждой области укажите нужное поведение. В нашем примере карточки товаров и инструкция должны быть доступны роботу; сочетания параметров подборщика – ограничены. Обход не равен индексации: адрес, запрещённый для получения, иногда всё равно известен Google по ссылкам. Если цель – убрать страницу из поиска, нужен отдельный способ, а не автоматическая подмена задачи строкой Disallow.
Не храните в этом перечне пароли или закрытые сведения. Общедоступный robots.txt сообщает правила роботам и не создаёт защищённую зону.
Выясните, какой файл и какая группа управляют обходом
Сохраните исходный ответ по адресу robots.txt в корне нужного сайта. Сверьте протокол, доменное имя и порт. Настройка на одном поддомене не переносится сама на остальные; перечень адресов проверки должен относиться к правильному источнику правил.
Найдите способ формирования файла: сохранённый текст, генератор CMS или расширение. Зафиксируйте, где должна появиться правка и кто сможет вернуть предыдущую версию. Замена ответа вручную бесполезна, если следующий выпуск сайта восстановит старый вариант.
Прочитайте все группы роботов. Отдельная подходящая группа Googlebot может сделать изменение в общей группе неэффективным для Google. В его интерпретации выбирается наиболее конкретная подходящая группа; отдельные группы для того же агента объединяются, но правила общей группы со звёздочкой к ним автоматически не добавляются. Поэтому разбор только последних строк файла ненадёжен.
Составьте правило вместе с исключением
Для самостоятельного учебного файла без других групп решение может выглядеть так:
User-agent: *
Disallow: /shade-picker/
Allow: /shade-picker/measure-guide/
Первая строка обозначает общую группу. Запрет относится к путям, начинающимся с /shade-picker/; исключение сохраняет получение инструкции и вложенных в неё адресов. Это не готовая конфигурация для любого магазина: в существующем файле нужно проверить остальные группы и пересечения.
Для Google более конкретное совпадение важнее позиции строки. При равной специфичности противоречащих Allow и Disallow применяется менее ограничивающее правило. Регистр пути также имеет значение.
Файл сохраняют как обычный текст UTF-8 с точным именем robots.txt. Страница справки, которая показывает код в оформлении сайта, не заменяет ответ по нужному адресу. Директива Sitemap может сообщать полный адрес карты сайта, но не заставляет индексировать её содержимое. Crawl-delay Google не поддерживает как настройку частоты обхода.
Подберите случаи, на которых ошибка станет заметной
Проверяйте границы действия правила. Для нашего самостоятельного файла полезны следующие ожидания.
| Адресный путь | Ожидание | Что он проверяет |
|---|---|---|
/shade-picker/?width=80 | Получение запрещено | Основной маршрут результатов |
/shade-picker/measure-guide/ | Получение разрешено | Более конкретное исключение |
/shade-picker/measure-guide/photos/ | Получение разрешено | Продолжение разрешённого пути |
/shade-picker-help/ | Подходящего запрета нет | Похожее имя с другим продолжением |
/Shade-picker/ | Подходящего запрета нет | Другой регистр |
/shade-picker?width=80 | Подходящего запрета нет | Отсутствие слеша перед параметром |
Последний случай особенно полезен при согласовании: владелец мог назвать его тем же подборщиком, хотя строка запрета его не охватывает. Сначала уточните реальную схему и соседние полезные маршруты, затем меняйте правило. Удаление одного символа без такого разбора способно расширить область ограничения.
Дополните набор категорией, товаром, нужными языками и ресурсами оформления. Проверьте доступ к скриптам, стилям и изображениям, от которых зависит понимание страницы. Для каждого результата сохраните объясняющее правило с учётом полного файла и выбранного робота.

Примите ответ сервера и назначьте наблюдение
После публикации получите robots.txt заново обычным запросом. Сравните содержимое с согласованной версией, проверьте ответ сервера и отсутствие неожиданной HTML-заглушки. Убедитесь, что вместе с изменением не исчезли чужие группы. Затем повторите контрольный набор на опубликованном файле.
Успешное сохранение поля CMS ещё не подтверждает правильный внешний ответ. А корректный внешний ответ не доказывает, что Google уже перечитал правила: может использоваться сохранённая версия. Дату исправления, подтверждение ответа и последующие данные обхода записывают отдельно. Ни один из этих этапов сам по себе не обещает индексацию или переходы.
В результате у владельца остаётся понятное решение для подборщика, проверенное исключение для инструкции и способ заметить случайное закрытие полезных страниц. Настройку файла вместе с приёмкой связанных шаблонов можно обсудить в рамках внутренней SEO-оптимизации сайта.
Нужна помощь с вашим проектом?
Оставьте имя и телефон. Свяжусь с вами, чтобы обсудить задачу, объём работ и следующий шаг.