Блог Как убрать дубли из поиска Google и Яндекс

[Попай]

garri опубликовал новую запись в блоге

Как убрать дубли из поиска Google и Яндекс

Прочитать полную запись на блоге

 

[il brutto]

А если надпись предупреждает: " В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости." И на странице больше ничего нет?

 

[Попай]

Ждите когда появиться, потом будете мучиться, что бы убрать их.

 

[il brutto]

Уже. 22 страницы на сайте, 125 страниц проиндексировано. Я вот думаю, может часть в ручную повыкидывать?

 

[Попай]

Уже. 22 страницы на сайте, 125 страниц проиндексировано. Я вот думаю, может часть в ручную повыкидывать?

Пока страниц мало их можно поудалять вручную. А когда будет больше, замучаетесь.

 

[Hina]

Хороший материал. Раньше как-то не обращала внимание на то, почему возникают ошибки при сканировании.
Множество дублей может создавать древовидная система комментирования, включенная на сайте. При такой системе создается столько дублей одной страницы, сколько было ответов на комментарий первого уровня.

 

[sairus45]

Для начала их нужно найти.Для этого нужно прописать команду host:вашсайт.ru.Вам покажет истинное количество дублей.А затем скачать программу Xenu.Она вам и отредактирует все страницы.

 

[vivat]

Заметила у себя дубли только тогда, когда в Sape сайт добавила. Система нашла страницы, о существовании которых я и не знала. Вот теперь думаю, стоит ли избавляться от таких страниц, если сайт сделан под Sape и всё равно на его будущее...

 

[Mvuser]

@vivat, Что с дублями, что и с сапой лучше не шутить.

 

[sexydivx]

Если закрыть теги в noindex, nofollow и удалить страницы дублей из sitemap то робот сможет попасть на эти страницы и добавить в индекс?

 

[Попай]

Если закрыть теги в noindex, nofollow и удалить страницы дублей из sitemap то робот сможет попасть на эти страницы и добавить в индекс?

Да, особенно гугл

 

[sas7110]

Спасибо, воспользовался данным методом, на сайте добавлено 47 статей, а в гугле проиндексированов 112, много дублей. Надеюсь, что больше половины из них закроется и позиции начнут расти.

 

[Spree]

Благодарю. Полезная статья. После проверки сайта, оказалось дублей больше чем реальных статей. Попробую на своём сайте

 

[Skaska]

"скачать программу Xenu.Она вам и отредактирует все страницы." - это плагин для вордпресс?

 

[Mvuser]

"скачать программу Xenu.Она вам и отредактирует все страницы." - это плагин для вордпресс?

Нет, Xenu - это отдельная программа, которая сканирует любой сайт на мета теги и различные ошибки.

 

[Fishka]

Удалить - это пол беды
главное - понять откуда лезут и предотвратить это.
потому что просто удалять это не выход.

 

[Wsk]

+1 за Xenu.
На данный момент достаточно много плагинов контролирующих дубли страниц, как правило просто так они не создаются, и решить можно просто, вспомнить какие изменения вносились в сайт.

 

[alexei_karpenko]

Добавлю свои несколько копеек, если не против.. Я вижу, что года идут, а пользователи до сих пор не понимают той истины, что файл robots.txt НЕ поможет при дублях. Потом что поисковик НЕ получит команду, что это индексировать не нужно.

ОН просто получит ЗАПРЕТ вообще. Как таковой.

Запомните - чтобы убрать все дубли на сайте, стоит в первую очередь воспользоваться бесплатным крошечным плагином noindex - можно скачать прямо из админки. Он на всех страницах (пагинации), группах, тегах - ставит атрибут noindex - и поисковые системы это НЕ индексируют. При этом к тем страницам ДОЛЖЕН быть открытый доступ в файле robots.txt

А почти все поголовно ставят громоздкие seo-плагины, типа yoast и all seo pack.....

 

[Fishka]

alexei_karpenko, стало даже интересно.. это что за плагин такой? можно ссылку в студию? в репо по запросу noindex ничего интересного не находится.

 

[alexei_karpenko]

стало даже интересно.. это что за плагин такой? можно ссылку в студию? в репо по запросу noindex ничего интересного не находится.

Все верно, это моя ошибка. На самом деле плагин именуется как Duplicate Content Cure - он бесплатный, и крошечный. Вы просто его устанавливаете и можете вручную проверить атрибут noindex в исходных кодах страницы. Плюс к этому правильно настроенный robots.txt - дублей НЕ будет! Шучу =) Будут но не более 2% от всего количества страниц. Представили Google уже не раз говорили, о том, что дубли НЕ критичный, но желательно их отсутствие... ссылку не дам ибо не помню =)