Магазин рулонних штор готує новий підбирач. Користувач задає ширину й колір, а сайт створює багато адрес результатів. Поруч працює інструкція із замірювання вікна. Власник хоче обмежити обхід підбирача, зберігши інструкцію та картки штор. Для robots.txt це три різні вимоги, які потрібно пов’язати зі справжніми маршрутами сайту.
Розберімо, як перетворити таке завдання на файл, який можна перевірити. Шляхи в прикладі вигадані для пояснення: перед перенесенням правил їх замінюють фактичними адресами та враховують увесь чинний robots.txt.

Опишіть, що має залишитися доступним
Спочатку відкрийте підбирач і запишіть адресу після вибору кожного параметра. Уточніть, чи змінюється шлях, рядок запиту або лише стан інтерфейсу. Обмеження для каталогу /shade-picker/ не розв’яже завдання, якщо результати насправді відкриваються через інший маршрут.
Для кожної області вкажіть потрібну поведінку. У нашому прикладі картки товарів та інструкція мають бути доступні роботу; поєднання параметрів підбирача – обмежені. Обхід не дорівнює індексації: адреса, заборонена для отримання, іноді все одно відома Google за посиланнями. Якщо мета – прибрати сторінку з пошуку, потрібен окремий спосіб, а не автоматична підміна завдання рядком Disallow.
Не зберігайте в цьому переліку паролі або закриті відомості. Загальнодоступний robots.txt повідомляє правила роботам і не створює захищеної зони.
З’ясуйте, який файл і яка група керують обходом
Збережіть вихідну відповідь за адресою robots.txt у корені потрібного сайту. Звірте протокол, доменне ім’я та порт. Налаштування на одному піддомені не переноситься саме на решту; перелік адрес перевірки має стосуватися правильного джерела правил.
Знайдіть спосіб формування файлу: збережений текст, генератор CMS або розширення. Зафіксуйте, де має з’явитися правка й хто зможе повернути попередню версію. Ручна заміна відповіді марна, якщо наступний випуск сайту відновить старий варіант.
Прочитайте всі групи роботів. Окрема відповідна група Googlebot може зробити зміну в загальній групі неефективною для Google. У його інтерпретації вибирається найбільш конкретна відповідна група; окремі групи для того самого агента об’єднуються, але правила загальної групи із зірочкою до них автоматично не додаються. Тому розбір лише останніх рядків файлу ненадійний.
Складіть правило разом із винятком
Для самостійного навчального файлу без інших груп рішення може мати такий вигляд:
User-agent: *
Disallow: /shade-picker/
Allow: /shade-picker/measure-guide/
Перший рядок позначає загальну групу. Заборона стосується шляхів, що починаються з /shade-picker/; виняток зберігає отримання інструкції та вкладених у неї адрес. Це не готова конфігурація для будь-якого магазину: у наявному файлі потрібно перевірити решту груп і перетини.
Для Google більш конкретний збіг важливіший за позицію рядка. За однакової специфічності суперечливих Allow і Disallow застосовується менш обмежувальне правило. Регістр шляху також має значення.
Файл зберігають як звичайний текст UTF-8 із точною назвою robots.txt. Сторінка довідки, яка показує код в оформленні сайту, не замінює відповідь за потрібною адресою. Директива Sitemap може повідомляти повну адресу карти сайту, але не змушує індексувати її вміст. Crawl-delay Google не підтримує як налаштування частоти обходу.
Доберіть випадки, на яких помилка стане помітною
Перевіряйте межі дії правила. Для нашого самостійного файлу корисні такі очікування.
| Адресний шлях | Очікування | Що він перевіряє |
|---|---|---|
/shade-picker/?width=80 | Отримання заборонене | Основний маршрут результатів |
/shade-picker/measure-guide/ | Отримання дозволене | Більш конкретний виняток |
/shade-picker/measure-guide/photos/ | Отримання дозволене | Продовження дозволеного шляху |
/shade-picker-help/ | Відповідної заборони немає | Схожа назва з іншим продовженням |
/Shade-picker/ | Відповідної заборони немає | Інший регістр |
/shade-picker?width=80 | Відповідної заборони немає | Відсутність слеша перед параметром |
Останній випадок особливо корисний під час узгодження: власник міг назвати його тим самим підбирачем, хоча рядок заборони його не охоплює. Спочатку уточніть справжню схему та сусідні корисні маршрути, потім змінюйте правило. Видалення одного символу без такого розбору здатне розширити область обмеження.
Доповніть набір категорією, товаром, потрібними мовами та ресурсами оформлення. Перевірте доступ до скриптів, стилів і зображень, від яких залежить розуміння сторінки. Для кожного результату збережіть правило, що його пояснює, з урахуванням повного файлу й обраного робота.

Прийміть відповідь сервера й призначте спостереження
Після публікації отримайте robots.txt знову звичайним запитом. Порівняйте вміст з узгодженою версією, перевірте відповідь сервера та відсутність неочікуваної HTML-заглушки. Переконайтеся, що разом зі зміною не зникли чужі групи. Потім повторіть контрольний набір на опублікованому файлі.
Успішне збереження поля CMS ще не підтверджує правильної зовнішньої відповіді. А коректна зовнішня відповідь не доводить, що Google вже перечитав правила: може використовуватися збережена версія. Дату виправлення, підтвердження відповіді й подальші дані обходу записують окремо. Жоден із цих етапів сам собою не обіцяє індексації або переходів.
У результаті у власника залишається зрозуміле рішення для підбирача, перевірений виняток для інструкції та спосіб помітити випадкове закриття корисних сторінок. Налаштування файлу разом із прийманням пов’язаних шаблонів можна обговорити в межах внутрішньої SEO-оптимізації сайту.
Потрібна допомога з вашим проєктом?
Залиште ім’я та номер телефону. Зв’яжуся з вами, щоб обговорити завдання, обсяг робіт і наступний крок.