Skip to content
 

Файл robots.txt для WordPress — загрузка и настройка

robot

Для грамотного продвижения сайта, на него необходимо загрузить файл robots.txt, делается это следующим образом: Скопируйте содержимое этого файла, указанное ниже, себе в блокнот, отредактируйте, заменив слова «ваш сайт«, на адрес вашего сайта (ваше доменное имя), и сохраняете отредактированную запись в текстовом формате, кодировка (UTF-8). Хотя кодировка не столь важна. Например адрес моего сайта — http://batalova62.ru

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /author/
Disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /category/
Disallow: /page/
Disallow: /archive/
Disallow: /*?tag=
Disallow: /*?cat=
Disallow: /*?paged=
Disallow: /*?m=
Disallow: /*feed
Disallow: /*comments
Disallow: /*trackback
Disallow: /*comment-page
Disallow: /*cpage=
Disallow: /*?s=
Disallow: /*&s=
Crawl-delay: 3
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru/sitemap.xml

Затем идем в админ панель вашего хостинга, у меня это — sprinthost. Заходим в «файловый менеджер», находим папку вашего сайта (домен — название сайта), находим папку «public_html», открываем, и закачиваем в нее измененный и сохраненный файл robots.txt.

Для загрузки файла ищем кнопочку «загрузить» (см. картинку) и производим стандартную процедуру загрузки файлов в интернет. А именно, выбираем файл на компьютере, жмем «открыть», «загрузить», все файл успешно загружен, что бы проверить все ли правильно проделали, подставляем к адресу вашего сайта robots.txt (http://ваш домен.ru/robots.txt), и если открывается страничка с содержимым файла, то все сделали правильно.robot6robot2 robot3robot4robot5

Но это ещё не все, теперь нам нужно проанализировать, как работает robots.txt на нашем сайте, справляется ли со своей задачей. Для начала давайте уясним, в чем же эта самая задача. А состоит она в том, чтобы скрывать ненужные файлы и прочий «мусор» от индексации поисковыми системами.

Давайте приведу пример, мы пишем «запись», она у нас на сайте дублируется несколько раз. Во первых на главной странице, затем, на той странице, где мы её открываем полностью, в каталоги, архив, рубрики и так далее…  А дубли для поисковых систем, не есть хорошо, а скорее очень плохо…

Сайт где много дублей и другого «мусора» могут запросто «забанить» и отправить в песочницу, и тогда нечего и мечтать о заработке на сайте, и начинай всё  сначала, а оно нам надо? Вот для этого и существует robots.txt, который «подсказывает» поисковым системам, что нужно индексировать, а что нет.

Так как же проверить работу робота на нашем сайте? Для этого заходим сюда — http://webmaster.yandex.ua/robots.xml#results. В строку «имя хоста» вводим свой домен (домен.ru), нажимаем кнопочку «загрузить robots.txt с сайта» загружается наш робот, жмем кнопку проверить, и смотрим под этим полем отчет о работе нашего робота, если что — то не правильно, красным укажет на ошибку. Но и это ещё не все. Можно проверить, все ли ненужные записи скрыты от индексации, нажимаем «Список URL-добавить» и в открывшееся окно добавляем ссылки с нашего сайта.

Где их брать? Наводим курсор мыши на название статьи, клик правой кнопкой мыши (копировать адрес ссылки), вставить в окно. Подводим курсор к «Рубрики» и на одной из рубрик то же самое. Возьмем ссылку из категории «метки», «архивы», «комментарии», «админ». Заполнили окошко, жмем «проверить»

В идеале у нас все кроме ссылки на статью, должно быть красным (запрет на индексацию). А если все зеленое, то это плохо, значит ваш мусор индексируется, и это можно исправить, задав запрет на определенные категории. Редактируя правила, составьте файл robots.txt, подходящий для вашего сайта. Так, как мы анализируем в Яндексе, то и редактировать будем после строки «User-agent: Yandex»( не бойтесь ничего, смело редактируйте файл,  запомните, что файл на сайте при этом не меняется).

Копируем «Disallow: «, освобождаем место ниже в строчке, вставляем в новую строку. Далее копируем адрес папки, которая не должна читаться поиском, (см рис), и вставляем после «Disallow: «, опять жмем кнопку проверить, и смотрим результат, если появилась надпись: — запрещен правилом /author/, значит мы все проделали правильно, если надпись осталась прежняя (разрешен), значит отменяем предыдущее действие, и проделываем его ещё раз.2013-04-02_175027robots7robots8robots9robots1.robots2

В моем случае, при первом анализе, результат был 100%. То есть все было зелененькое, разрешенное, как вроде и не работает робот, когда я внесла изменения, то почти все поменялось, и стало запрещено. Только 2 ссылки из 8 мне так и не удалось запретить, но и этот результат меня вполне устроил. Измененный файл я скопировала в блокнот, сохранила в текстовом формате, и как описано выше загрузила на Хост, файл при этом поменялся, так я настроила робот под свой блог.

Ведь все наши сайты, не сильно, но различаются, и поэтому подстраивать готовый шаблон robots.txt нужно индивидуально для каждого сайта. Думаю что изложила все понятно, так, как поняла сама, но если что не ясно, обращайтесь в комментариях, обсудим, я обязательно отвечу на все ваши вопросы. Удачи вам, до встречи на страницах сайта.

Автор Ирина Баталова.

Я хочу быть в курсе событий на сайте!

Подпишитесь прямо сейчас, и получайте обновления на свой E-Mail:

Ваш E-Mail в безопасности

Google

76 комментариев

  1. Светлана Нимчук:

    Спасибо, Ирина за статью, робот составлен, а проверять не проверяла. Сейчас займусь этим вопросом.

  2. Ирина, какая же Вы умница!
    Даёте столько ценного материала: не просто как установить файл роботс, но и как его настроить, да проверить не один раз.
    Пока что таких премудростей не знала и не делала, но буду заниматься вплотную 😮

    • Спасибо, Ирина, за добрые слова. Этот файл важен для блога, и не возможно установить всем одинаковые файлы robots.txt. Ведь на каждом блоге свои нюансы и особенности, поэтому нужно подстраивать этот файл под блог.

      • В том-то и дело, Ирина. Нужно понимать, что файл robots.txt. должен быть индивидуален для каждого блога. А нас обычно учат механически его скопировать, внести к себе на блог, не изменяя и не настраивая.

        • Да, я тоже вначале установила скопированный файл, и всё. И лишь спустя пару месяцев узнала, что его нужно настраивать. Да и узнала только на платных курсах.

          • Эт точно, настраивать нужно под себя.Что то нужно открыть, а что то закрыть от поисковиков

    • Anna:

      Да, Ирина, у Нашего автора можно и нужно многому научиться…Трудится человек, как пчёлка, а затем даёт нам правильные выводы по различным темам ведения блога…Спасибо ей ха это огромное…С уважением, Анна. 🙂

  3. Столь ценная информация относительно составления robots.txt. Получилась отличная статья, спасибо! 😉

  4. У меня ничго такого нет, я работаю через TotalCommander…но яндекс видит мой файл.

  5. У меня robot.txt выглядит иначе. 🙁
    При проверке в яндексе показывает мне номера страниц (20-41)
    И 42,43 выделяет их синим цветом. Слов «Ошибка», «Предупреждение» не выдает.
    Все! запуталась окончательно! 😐

  6. Т.е у Вас из-за сайтмэр тоже начались проблемы с индексацией в Гугл? А сейчас кончились?

  7. Ирина, так хорошо написана статья. Для меня этот роботс до сих пор не преодолим. Подумать, до сих пор не могу даже зарегистрироваться в поисковых группах. Панически боюсь открывать корневую папку. А ведь туда же надо загружать этот файл. К тому же скачала файлзиллу, а она на английском языке, и где взять на русском языке, не знаю. А в этом роботсе дубли могут быть? Ведь Борисов описал их позднее?

    • А у меня программа на русском, я уже и не помню, где брала, язык выбирала при установке. В роботсе самом нет никаких дублей, дубли находятся на наших блогах, а файл роботс запрещает роботам индексировать страницы. У Борисова наоборот всё разрешено, запретов почти нет, но в этом случае нужно ещё прописывать редиректы и менять файл .htaccess и прописывать редиректы в функционе.

    • Anna:

      Валентина, спокойно, без паники…Всё получится и всё станет на свои места…Разберётесь со временем, а вообще-то можно попросить кого-то из тех, кто в этом смыслит, пусть вам в этом помогут…Желаю удачи, всё будет хорошо…С уважением, Анна. 🙂

  8. Ирина, ты действительно хорошо разбираешься в этих вопросах. и сама и нас учишь. спасибо. я не помню. с файлом все делала, как учили на уроках. А проверкой надо еще раз заняться будет.

    • Проверять нужно, потому, что один и тот же файл ко всем блогам не подходит. Вернее подходит, но с учётом шаблона темы, работает по разному, поэтому нужно проверять, всё ли лишнее закрыто от индексирования.

  9. Сколько авторов подобных статей, столько и роботсов 🙂 И не потому, что блоги разные. А потому. что авторы разные и каждый ставит туда, что в голову придет. Думаю, что свой роботс ты не сама сочинила, а тоже откуда-то взяла. Я права? По крайней мере, я всегда делала именно так. Ну, что-то могла дописать, а что-то удалить. Но ведь надо очень хорошо разбираться и в тонкостях вордпресса (какие именно он создает файлы) и в тонкостях работы поисковых роботов.

    • Этот роботс я конечно не сама сочинила, а взяла на платных курсах по созданию блогов. Сказали, что это самый правильный роботс, но что его можно и нужно редактировать в описываемом сервисе.

      • @Ирина, если бы все платные курсы вели большие специалисты… Я свой роботс за время существования блогов поменяла уже несчетное количество раз. Все дают разные варианты, причем никак их не объясняя, и тыкаешься с ними туда-сюда. Если бы знать в точности, как лучше… Я вот сейчас поставила себе роботс, как у Борисова. Посмотрим, как это повлияет и повлияет ли на что-нибудь.

  10. Ирина, подскажи!
    В новом курсе «Блог за час» А. Борисов говорит — Правильный файл как раз тот, что сейчас лежит в папке robots, смело его загружайте и не беспокойтесь ни о чем. Вот он:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /wp-includes
    Disallow: /wp-feed
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: zaextrimom.ru
    Sitemap: zaextrimom.ru/sitemap.xml

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/
    Как ты думаешь, если я тот роботс установлю, будет правильно?

    • Я скачивала новый курс Борисова, и у него в курсе роботс такой, какой у меня в статье, а тот о котором вы пишете у него на блоге в новой статье про борьбу с дублями. Оба роботса правильные, просто первый — закрывает всё, а второй почти ничего не закрывает, и при его установке требуется дополнительно настраивать редиректы, файл htaccess и прописывать дополнительные функции. То есть комплексно менять сразу все файлы, а не ограничиваться одним роботс.

    • Андрей,пользуйтесь данным роботсом.
      Нормальный роботс,чем он вас не устраивает?

    • Андрей привет.Роботс конечно правильный, но может вы что тоеще захотите закрыть или открыть.Нужно подстраивать под себя, а так нормальный роботс

  11. В поиске решений я уже много блогов перелопатил, но мне Ирина очень понравился Ваш блог. Материал в доступной форме, все понят и красиво

  12. Я очень долго искала советов от блоггеров по правильному роботсу на сайте. В итоге выбрала и остановилась на том, что у меня сейчас.

  13. Да,статья интересная.Единственное хочу сказать,не создал robots.txt для своего сайта. Страницы в выдаче Гугла улетели за вторую-третью сотню или вообще исчезли. 😯

  14. Ирина, конечно же этот файл у меня установлен. Даже переделывал его по рекомендации А.Борисова. Но вот настройкой его не занимался. Нужно будет обязательно проверить работу своего роботса. Спасибо!

  15. На сегодня это актуальный файл робот тхт, замечания Борисова учитаны его использование может привести к дублям в поиске?

    • @Юрий Йосифович, как может файл робот тхт, его использование может привести к дублям в поиске?

    • Файл этот актуальный, замечания Борисова не учтены, так как тогда нужно настраивать дополнительные редиректы и запреты в других файлах, а это всё написано у него на блоге. А дубли создаются из за древовидных комментариев. Достаточно не включать их, а поставить плагин для ответов на комментарии, и дублей не будет.

      • @Ирина Баталова, Вы все правильно пишете и правильно доносите к своим читателям. Но как вижу не все спешатся исправить у себя ошибки. Вот отсюда и вопрос — почему так?

        • Иван, всё упирается в недостаток времени! 😉

          • @Ирина Баталова, думаю, если бы вы использовали задачник гугла или такое понятие как дедлайн в своей работе — то думаю времени всегда было бы больше чем достаточно.

          • Юрий, задачник Гугла не поможет, если у внучки начали резаться зубки, поднялась температура, и она спит только на руках. Тут ни один задачник не справится! 😉

          • @Юрий Йосифович, ошибаетесь. Как раз очень и поможет — так как если случилось что-то более важное, то это значит что ему нужно задать максимальный приоритет — а все остальные задачи по умолчанию переносятся дальше. На то и есть органайзер, чтобы с ним работать — любое дело можно подвинуть дальше — при этом не забыть все же сделать его.

          • Не времени а в незнанию и не доверии. Просто я порой удивляюсь, сколько полезной информации Вы предоставляете своим пользователя, а они ленятся уже готовые решения воплотить у себя на блоге или сайте. Относительно настройки robots.txt, как мне кажется здесь нужно подходить с умом и индивидуально к настраиваемому ресурсу. Иначе можно можно только добиться недоверия поисковой системы к ресурсу

          • Это точно. На каждом блоге нужна индивидуальная настройка.

          • @Иван Зелинский, Ирина, не хочу показаться предвзятым, но в публикации не указано для какого типа сайтов предназначается этот файл робот.тхт. Возможно, вы подразумеваете о том, что он создается для блогов на вордпресс, но ведь на этом движке делают и магазины, и информационные порталы… Вы бы могли повысить выдачу своей публикации указав для какого движка и сайта какой направленности предназначается этот файл робот.тхт.

          • Ну Юрий, ты так глубоко копнул, что ме страшно сделалось 😯

      • @Ирина Баталова, Ирина,ну так ваш robots.txt создает дубли или нет?

  16. Ирина, а у вас до сих поор этот роботс стоит? Или вы его уже поменяли?

  17. Альфред Ш.:

    В последнее время пришел к выводу, что грамотнее отсеивать дубли не в robots.txt, а через метатэг «noindex» на странице. Дело в том, что поисковики, Google уж точно, несмотря на инструкции в robots.txt, забирает эти страницы, помещая их в дополнительный (мусорный) индекс или так называемые сопли. Это не есть гуд для сайта. В SEO плагинах есть возможность закрыть от индексации рубрики, тэги, 2-ую и последующую страницы, страницу поиска и 404 при помощи этого метатэга. И ни в коем случае не комбинировать с закрытием в robots.txt — иначе поисковик тупо забивает на ваш метатэг и ваши страницы благополучно отправляют в «сопли». Для Google также не желательно закрывать файлы, где находятся скрипты и стили вашей темы — поисковик должен понимать, как выглядит ваша страница. Кстати, из-за комбинирования команд в robots.txt и метатэга на страницах replytocom у многих случалась полная шляпа — ПС тупо забирала их в свой дополнительный индекс, не обращая внимания на имеющийся там метатэг. Также страницы вложений attachment (по сути отдельных страниц для изображений, которые создает Wordpres) лучше редиректить к странице со статьей (ну или на крайняк, тоже noindex для таких страниц).

Написать отзыв

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: