Файл robots.txt для WordPress — загрузка и настройка

robot

Для грамотного продвижения сайта, на него необходимо загрузить файл robots.txt, делается это следующим образом: Скопируйте содержимое этого файла, указанное ниже, себе в блокнот, отредактируйте, заменив слова «ваш сайт«, на адрес вашего сайта (ваше доменное имя), и сохраняете отредактированную запись в текстовом формате, кодировка (UTF-8). Хотя кодировка не столь важна. Например адрес моего сайта — http://batalova62.ru

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru/sitemap.xml

Затем идем в админ панель вашего хостинга, у меня это — sprinthost. Заходим в «файловый менеджер», находим папку вашего сайта (домен — название сайта), находим папку «public_html», открываем, и закачиваем в нее измененный и сохраненный файл robots.txt.

Для загрузки файла ищем кнопочку «загрузить» (см. картинку) и производим стандартную процедуру загрузки файлов в интернет. А именно, выбираем файл на компьютере, жмем «открыть», «загрузить», все файл успешно загружен, что бы проверить все ли правильно проделали, подставляем к адресу вашего сайта robots.txt (http://ваш домен.ru/robots.txt), и если открывается страничка с содержимым файла, то все сделали правильно.robot6robot2 robot3robot4robot5

Но это ещё не все, теперь нам нужно проанализировать, как работает robots.txt на нашем сайте, справляется ли со своей задачей. Для начала давайте уясним, в чем же эта самая задача. А состоит она в том, чтобы скрывать ненужные файлы и прочий «мусор» от индексации поисковыми системами.

Давайте приведу пример, мы пишем «запись», она у нас на сайте дублируется несколько раз. Во первых на главной странице, затем, на той странице, где мы её открываем полностью, в каталоги, архив, рубрики и так далее…  А дубли для поисковых систем, не есть хорошо, а скорее очень плохо…

Сайт где много дублей и другого «мусора» могут запросто «забанить» и отправить в песочницу, и тогда нечего и мечтать о заработке на сайте, и начинай всё  сначала, а оно нам надо? Вот для этого и существует robots.txt, который «подсказывает» поисковым системам, что нужно индексировать, а что нет.

Так как же проверить работу робота на нашем сайте? Для этого заходим сюда — http://webmaster.yandex.ua/robots.xml#results. В строку «имя хоста» вводим свой домен (домен.ru), нажимаем кнопочку «загрузить robots.txt с сайта» загружается наш робот, жмем кнопку проверить, и смотрим под этим полем отчет о работе нашего робота, если что — то не правильно, красным укажет на ошибку. Но и это ещё не все. Можно проверить, все ли ненужные записи скрыты от индексации, нажимаем «Список URL-добавить» и в открывшееся окно добавляем ссылки с нашего сайта.

Где их брать? Наводим курсор мыши на название статьи, клик правой кнопкой мыши (копировать адрес ссылки), вставить в окно. Подводим курсор к «Рубрики» и на одной из рубрик то же самое. Возьмем ссылку из категории «метки», «архивы», «комментарии», «админ». Заполнили окошко, жмем «проверить»

В идеале у нас все кроме ссылки на статью, должно быть красным (запрет на индексацию). А если все зеленое, то это плохо, значит ваш мусор индексируется, и это можно исправить, задав запрет на определенные категории. Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Так, как мы анализируем в Яндексе, то и редактировать будем после строки «User-agent: Yandex»( не бойтесь ничего, смело редактируйте файл,  запомните, что файл на сайте при этом не меняется).

Копируем «Disallow: «, освобождаем место ниже в строчке, вставляем в новую строку. Далее копируем адрес папки, которая не должна читаться поиском, (см рис), и вставляем после «Disallow: «, опять жмем кнопку проверить, и смотрим результат, если появилась надпись: — запрещен правилом /author/, значит мы все проделали правильно, если надпись осталась прежняя (разрешен), значит отменяем предыдущее действие, и проделываем его ещё раз.2013-04-02_175027robots7robots8robots9robots1.robots2

В моем случае, при первом анализе, результат был 100%. То есть все было зелененькое, разрешенное, как вроде и не работает робот, когда я внесла изменения, то почти все поменялось, и стало запрещено. Только 2 ссылки из 8 мне так и не удалось запретить, но и этот результат меня вполне устроил. Измененный файл я скопировала в блокнот, сохранила в текстовом формате, и как описано выше загрузила на Хост, файл при этом поменялся, так я настроила робот под свой блог.

Ведь все наши сайты, не сильно, но различаются, и поэтому подстраивать готовый шаблон robots.txt нужно индивидуально для каждого сайта. Думаю что изложила все понятно, так, как поняла сама, но если что не ясно, обращайтесь в комментариях, обсудим, я обязательно отвечу на все ваши вопросы. Удачи вам, до встречи на страницах сайта.

Автор Ирина Баталова.

Ссылка на основную публикацию