Как убрать дубли из поиска Google и Яндекс

Дубли страниц очень плохо влияют на вашу выдачу в поисковых системах. Многие вебмастера пишут на своих блогах как от них избавиться, а мы в этой статье рассмотрим, что делать если эти самые злосчастные дубли уже проиндексировались поисковиками и портят жизнь вашему сайту.

Как обнаружить дубли на сайте
Дубли на сайте я ищу с помощью панели вебмастера от Google. Заходим в «Параметры URL» и там отобразятся нежелательные переменные которые дублируют ваши страницы.

Как удалить дубли страниц из поиска
Для этого дублям станиц, которые находятся в индексе нам надо присвоить ошибку 404 и при очередном обходе роботом он увидит, что данной странице ошибка, он это отметит и если через некоторое время это не измениться поисковик выкинет эту страницу-дубль из индекса.

Этот код необходимо вставить в function.php следующий код:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

Что бы дополнительно присвоить 404 ошибку любой другой странице, то добавьте в предыдущий код в function.php в этот код:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

По данному примеру добавляем все ненужные Вам ссылки.

Сессии в адресе страниц
Данный способ можно применить и к другим CMS и у многих создают адреса страниц вида:
clubwp.ru/forums/?PHPSESSID=93adac36813a153a8d0bdaac8a0df33c.
Эта переменная обозначает сессию для пользователя, но её умудряются подхватить и проиндексировать поисковые системы. Таким образом одну и туже страницу может дублироваться до бесконечности:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

и т.п.

Вдобавок запрета сессий в файле robots.txt рекомендуется произвести редирект с сессионных ссылок на неподвижные.
Осуществить все это следует данным способом:

1. В файле .htaccess записываем данный код:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

2. В корень сайта закидываем или создаем новый файл redirect.php с таким содержимым:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

А если у Вас PHPSESSID поисковики уже проиндексировали их, то можно этим страницам присвоить 404 ошибку, что бы исключить их из поиска. Для этого в файл redirect.php надо прописать другой код:

У вас нет прав на просмотр содержимого кода, Войдите или Зарегистрируйтесь.

После это изменения надо отслеживать работу сайта, возможно некорректное работа всего функционала сайта. Мною было замечено, что не работала капча.

Cо временем эти страницы будут исчезать из поиска.

В данной статье я раскрыл решения особо популярных проблем, затрудняющих тактичную индексацию интернет-сайта.

 

Статья, несомненно, интересная, но Google Webmaster Tool теперь выглядит по-другому, да и называется Google Search Console.
Где теперь дубли искать?

Можно информацию актуализировать как-то?