Добавлю свои несколько копеек, если не против.. Я вижу, что года идут, а пользователи до сих пор не понимают той истины, что файл robots.txt НЕ поможет при дублях. Потом что поисковик НЕ получит команду, что это индексировать не нужно.
ОН просто получит ЗАПРЕТ вообще. Как таковой.
Запомните - чтобы убрать все дубли на сайте, стоит в первую очередь воспользоваться бесплатным крошечным плагином noindex - можно скачать прямо из админки. Он на всех страницах (пагинации), группах, тегах - ставит атрибут noindex - и поисковые системы это НЕ индексируют. При этом к тем страницам ДОЛЖЕН быть открытый доступ в файле robots.txt
А почти все поголовно ставят громоздкие seo-плагины, типа yoast и all seo pack.....