Правильный robots.txt для wordpress

Првильный robots.txt для wordpress

robots.txt для wordpress

Правильный robots.txt для wordpress указывает поисковым роботам на правила индексации вашего блога, т.е. что индексировать, а на что закрывать «глаза».Ведь именно этот файл проверяют в первую очередь поисковые машины, заходя на ваш сайт.

О том что такое robots.txt в сети можно найти очень много информации, в т.ч. как этот файл правильно прописать, но все эти статьи либо некорректные либо скопированные друг у друга.

На досуге наткнулся я на пост «Дублированный контент и параметр replytocom», перепроверил файл robots.txt, оказалось, что он требует корректировки.

В свою очередь, спешу поделиться с Вами, дорогие читатели, с правильным robots.txt для wordpress от Студии-ГОСТ.

Где находится файл robots.txt?

Файл размещается в корневой директории сайта. Например:

http://clubwp.ru/robots.txt

Настройки robots.txt

1. User-Agent

Это имя поискового робота, к которому применяются нижеследующие правила вплоть до конца абзаца(не допускается пустое значение)

2. Allow и Disallow

Разрешает и, соответственно, запрещает индексацию указанных разделов блога. Allow воспринимают только Гугл и Яндекс, остальные поисковики его не видят.
Сначала нужно использовать директиву Allow, а только после нее Disallow. Также между ними не ставятся пустые строки – иначе так робот поймет, что инструкция закончилась. После директивы User-Agent также не допускаются пустые строки.

3. Host

Указывает какое зеркало сайта считать главным для избежания попадания под фильтр. Сайт доступен по нескольким адресам минимум с www и без www, и для избежания полного дублирования страниц.

4. Sitemap

Указывает роботу наличие и адрес карты сайта в формате XML

Правильный robots.txt для wordpress

User-agent: *  
Allow: */uploads  
Disallow: /cgi-bin  
Disallow: /wp-  
Disallow: */feed
Disallow: /search
Disallow: /xmlrpc.php  
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback
Disallow: /*?*
          
Host: clubwp.ru
Sitemap: http://clubwp.ru/sitemap.xml

Директивы Host(главное зеркало сайта) и Sitemap(путь к карте сайта) являются межсекционными и поэтому будут учитываться роботом в любом месте в файле robots.txt. Следовательно, не надо дублировать секцию полностью, ради указания директивы Host для Яндекса.

Проверка robots.txt в инструментах Яндекс и Google

Работоспособность своего файла robots.txt вы всегда можете проверить в вебмастерских разделах поисковиков. При редактировании своего файла я всегда проверяю его на корректность.

Вебмастер яндекс

robots.txt для wordpress

У яндекса (webmaster.yandex.ru) раздел находится в «Настройки индексирования->Анализ Robots.txt«.

Вебмастер google

robots.txt для wordpress

У google (google.com/webmasters) раздел «Состояние->Заблокированные URL«.

Напоследок хочу напомнить, что изменения в robots.txt на уже рабочем блоге будут заметны только спустя 1-3 месяца.

PS Если кто еще знает как можно улучшить Robots.txt пишите в комментариях.


Если вы хотите раскрутить свой блог и успешно заниматься SEO продвижением, то вам надо быть в курсе, что творится у вас на сайте. Для этого вам придется проверить позиции сайта, мониторить посещаемость и источники трафика. Делать это надо регулярно и следить за динамикой своего блога. Тогда у вас всё получится.

Понравилась статья? Поделись с друзьями:
Комментариев: 4
  1. А как вы  относитесь к тому что для Яндекса директивы пишутся отдельно и как отдельно для всех поисковых систем?

    Я так понимаю у вас закрыто от индексирования  категории и теги, по-моему  это не  всегда себя оправдывает.

  2. Garri (автор)

    [quote="il brutto, post: 275, member: 76"]А как вы относитесь к тому что для Яндекса директивы пишутся отдельно и как отдельно для всех поисковых систем?[/quote]

    Зачем отдельно? Не понятно! У Вас для Яндекса отдельные запреты? Если, ДА, то тогда пишите отдельные директивы. А так Вы предлагаете сделать "масло масленое".

    [quote="il brutto, post: 275, member: 76"]Я так понимаю у вас закрыто от индексирования категории и теги, по-моему это не всегда себя оправдывает.[/quote]

    Спорить не буду, всегда или не всегда. Но 99% там нет никакой смысловой нагрузки, а контент повторяется целиком или частично(кто как настроит) и это получается не уникальный контент (иногда дубли), что приведет к принятию мер со стороны поисковиков.  А это :cry:.

  3. [USER=1]@Garri[/USER]

    1.Рекомендуют директиву Host прописывать  отдельно для User-agent: Yandex .

    [ATTACH=full]126[/ATTACH]

    [ATTACH=full]127[/ATTACH]

    2.  Почему категории  должны быть открыты.  Я  так понимаю структура сайта упрощенно:

    • Главная станица — ВЧ запрос;
    • Категории — СЧ запрос;
    • Страницы — НЧ запрос.

    Теги. Тегирование  дает структуру параллельную  структуре категорий, на  эту страницу можно без особых хлопот повесить  еще один  запрос.  Например  если главная страница —  животные, категория — зайцы, статьи — виды  зайцев.  Эти   зайцы обладают какими-то свойствами, например цветом и пользователь может искать и по  запросу  заяц  зеленого цвета.  Всем зайцам ставим тег какого он цвета и получаем в поиске  страницы со списком  зайцев по цветам.  Как-то так. :)

  4. Garri (автор)

    [quote="il brutto, post: 282, member: 76"]Также необходима директива Host – которую понимает только поисковая система Яндекс, она служит, для определения главного зеркала вашего сайта, то есть ваш ресурс может быть доступен по нескольким адресам, допустим с www и без, что для поисковых систем это является двумя разными сайтами.

    Так как директиву Host понимает только Яндекс, то для этого нужно использовать отдельно User-agent: Yandex, а для указания действий к индексации другим поисковым роботам использовать директиву User-agent.[/quote]

    Что за глупость? Причем тут User-agent: Yandex и Host ? Это совсем разные вещи, которые дуг от друга не зависят и могут использоваться и по одиночке. Тогда ещё Sitemap сюда приплели бы.

    [quote="il brutto, post: 282, member: 76"]2. Почему категории должны быть открыты. Я так понимаю структура сайта упрощенно:[/quote]

    Тут упущен один нюанс:  Слово category надо убирать из url для категорий. И некоторые плагины, которые убирают это слово, делают это не корректно и получаются дубли с category и без. И поэтому для подстраховки

    [CODE]Disallow: /category[/CODE]

    А по тегом, если такое четкое структурирование есть, то можете оставить. А мне проще написать статью под нужный  запрос — эффективнее будет.

Добавить комментарий
Screenshot.png
Общаясь и проявляя активность в Клубе по WordPress

можно зарабатывать монеты и получить доступ в закрытый раздел