• ДОБРО ПОЖАЛОВАТЬ В КЛУБ ПО WORDPRESS

    Мы активно растущий клуб по WordPress и нам нужна помощь каждого человека, в том числе и Ваша! Не стесняйтесь и станьте частью большого сообщества.
    Мы делимся новостями, отытом и полезными советами! Пройдите простую регистрацию, чтобы пользоваться всеми возможностями нашего клуба.

    Присоединяйтесь к нам, вам обязательно понравится - Присоединится

Правильный robots.txt для wordpress

  • Категория SEO
SEO

Правильный robots.txt для wordpress

Правильный robots.txt для wordpress указывает поисковым роботам на правила индексации вашего блога, т.е. что индексировать, а на что закрывать «глаза».Ведь именно этот файл проверяют в первую очередь поисковые машины, заходя на ваш сайт.

О том что такое robots.txt в сети можно найти очень много информации, в т.ч. как этот файл правильно прописать, но все эти статьи либо некорректные либо скопированные друг у друга.

На досуге наткнулся я на пост «Дублированный контент и параметр replytocom», перепроверил файл robots.txt, оказалось, что он требует корректировки.

В свою очередь, спешу поделиться с Вами, дорогие читатели, с правильным robots.txt для wordpress от Студии-ГОСТ.


Где находится файл robots.txt?
Файл размещается в корневой директории сайта. На примере нашего клуба:

http://clubwp.ru/robots.txt

Настройки robots.txt
1. User-Agent
Это имя поискового робота, к которому применяются нижеследующие правила вплоть до конца абзаца(не допускается пустое значение)
2. Allow и Disallow
Разрешает и, соответственно, запрещает индексацию указанных разделов блога. Allow воспринимают только Гугл и Яндекс, остальные поисковики его не видят.
Сначала нужно использовать директиву Allow, а только после нее Disallow. Также между ними не ставятся пустые строки – иначе так робот поймет, что инструкция закончилась. После директивы User-Agent также не допускаются пустые строки.
3. Host
Указывает какое зеркало сайта считать главным для избежания попадания под фильтр. Сайт доступен по нескольким адресам минимум с www и без www, и для избежания полного дублирования страниц.
4. Sitemap
Указывает роботу наличие и адрес карты сайта в формате XML

Правильный robots.txt для wordpress
Код:
У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.
Директивы Host(главное зеркало сайта) и Sitemap(путь к карте сайта) являются межсекционными и поэтому будут учитываться роботом в любом месте в файле robots.txt. Следовательно, не надо дублировать секцию полностью, ради указания директивы Host для Яндекса.

Проверка robots.txt в инструментах Яндекс и Google
Работоспособность своего файла robots.txt вы всегда можете проверить в вебмастерских разделах поисковиков. При редактировании своего файла я всегда проверяю его на корректность.

I. Вебмастер яндекс
У Яндекса (Для просмотра ссылки необходимо: Войти или Регистрация) раздел находится в "Инструменты->Анализ Robots.txt".

II. Вебмастер google
У Google (Для просмотра ссылки необходимо: Войти или Регистрация) раздел "Сканирование->Инструмент проверки файла robots.txt".

Напоследок хочу напомнить, что изменения в robots.txt на уже рабочем блоге будут заметны только спустя 1-3 месяца.

PS Если кто еще знает как можно улучшить Robots.txt пишите в комментариях.
 
7 лучших бесплатных плагинов wordpress для создания онлайн чата
  • 20
  • 0
Общение с посетителями сайта – важная составляющая любого блога. Практически у каждого пользователя, зашедшего на ваш сайт, могут возникнуть те или иные вопросы. Удобная...
Генератор дорвеев d-zeus
  • 31
  • 0
Сегодня мы поговорим про заработок в интернете... Вернее не столько про сам заработок, сколько про инструменты для него. Как вы уже поняли из названия, речь пойдет про дорвеи. И если вы считаете, что дорвеи это прошлый век и работать с ними это больше мороки, чем пользы - значит вы просто не...
Poedit — переводим темы и плагины wordpress
  • 72
  • 4
Сталкивались вы когда-нибудь с ситуацией, когда вам ну очень понравилась тема для WP, либо крайне необходим функционал, какого либо плагина. И всё бы хорошо, но он на языке, который вы не знаете, и соответственно, вы хотите его перевести. Для этих целей разработан потрясающий инструмент, который...

Последние ресурсы

Поделиться страницей

Топ поддержки

  • Altin
    Altin
    1,400.00 RUB
Сверху