Настраиваем robots.txt правильно

Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (1 оценок, среднее: 5,00 из 5)
Загрузка...

1. Правильный robots.txt и чем он важен.
2. Настройка и принцип действия robots.txt.
3. Закрыть веб-ресурс от индексации? Легко!
4. 10 важных нюансов при настройке robots.txt.
5. В завершение.

Правильный robots.txt и чем он важен

Хотите закрыть свой веб-ресурс от индексации поисковыми системами, когда необходимость в них отсутствует? На самом деле, это достаточно просто. Вам понадобится только верно настроенный robots.txt, какой необходимо разместить в корневой папке Вашего сайта. Но будем последовательны.

robots.txt — это текстовый файл, где прописаны все рекомендации для ботов поисковиков по их действиям. Собственно его в первую очередь они и ищут, сразу после того, как попадают на страницы сайта. В случае, когда он отсутствует или есть, но никакой информации не имеет, поисковые роботы расценивают это как допуск для индексации всего сайта без каких бы то ни было ущемлений.
И диаметрально противоположно, когда в файле содержатся конкретные установки запрета индексации, боты поисковиков будут стремиться их соблюдать.

Настройка и принцип действия robots.txt

Верно составленный robots.txt обязан включать записи, где каждая них начинается со строки где указан User-agent. В данном приложении нужно прописать название бота, конкретно к которому будут относиться указания, указанные в следующих строках. Если указания относятся ко всем сразу паукам-индексаторам, на месте имени указывается символ “звездочка”.
Потом нужно прописать строку с директивой Disallow и специальные символы, выбранные в соответствии с целью указаний.

Закрыть веб-ресурс от индексации? Легко!

Фактически, запрет индексации — главная функция robots. Что именно запрещать? Здесь выбирать Вам. В данной ситуации есть достаточно вариантов:

1. Запрещение индексации конкретной страницы. Этот вариант удобен в использовании, когда сайт содержит документы, которые необходимы, но не должны участвовать в индексации и оказывать влияние на суммарный рейтинг сайта.

2. Полный запрет индексации веб-ресурса. Здесь имеется в виду возможность закрыть роботу поисковиков доступ на Ваш сайт для выполнения его работы. Это будет полезно на начальных этапах разработки веб-ресурса, когда контент уже начал публиковаться, но до необходимого уровня пока не доведен. В такой ситуации не следует проводить индексацию неоптимизированных страниц, чтобы репутация сайта не пострадала в самом начале.

3. Запретить индексацию для категории/раздела. Данный вариант следует использовать, когда на полноценно действующем сайте с определенным рейтингом в поисковиках, подготавливаются дополнительные разделы или категории, индексировать которые сейчас нежелательно.

10 важных нюансов при настройке robots.txt

1. Отсутствие информации в Disallow позволяет боту поисковиков проводить индексацию всех страниц на сайте.

2. Корректно составленный robots.txt должен содержать указания, которые прописаны лишь с применением нижнего регистра.

3. Чтоб robots.txt боты приняли к сведению, ему нужно содержать всегда не менее одной строки с User-agent.

4. Изначально прописать директиву Disallow, а затем User-agent — нельзя. Подобная настройка файла robots станет бесполезной тратой Вашего времени, так как роботы эти инструкции не в состоянии понять.

5. Запрещение индексации в файле robots работает по принципу старшинства. Другими словами, он будет распространяться на все прописанные директории, файлы и страницы, которые подчиняются указанным элементам.

6. Есть возможность сделать настройку robots.txt, где возможно указать для одного бота запись, которая состоит из нескольких указаний сразу.

7. Рекомендуется, чтобы точно составленный robots.txt также указывал на место расположения карты сайта. Данное условие позволит исключить возможность случайного пропуска ботом поисковиков некоторых страниц и существенно ускорит их индексацию.

8. Любая Disallow должна быть прописана с новой строки и указывать лишь на одну страницу/раздел/файл.

9. Символ “/” необходимо использовать в начале и в конце названия директории. В иной ситуации robots может установить запрет на индексацию всех страниц, содержащих в своем имени “slovo”.

10. Символ “*”, прописанный до названия позволяет запретить индексацию всех объектов, содержащих указанное слово.

В завершение

И, пожалуй, самое важное правило — необходимо убедиться в правильности написания robots.txt до того, как залить его в корень сайта. Также следует проверить его несколько раз на наличие ошибок. Но лучше всего — дайте кому-нибудь файл на проверку. Новый взгляд быстрее и легче увидит опечатки и другие оплошности в теле файла.
Помните, лишь правильно сделанная настройка robots.txt позволит запретить индексацию конкретных элементов Вашего ресурса, которые Вы хотите временно скрыть от бдительных ботов поисковых систем.

Наши клиенты