Статей на тему как правильно сделать robots.txt для WordPress огромное множество. Наша задача исключить дублирование контента для разделов Рубрики, Метки, Архив, Поиск и т.д.
Я буду краток и приведу лишь пример своей собственной реализации для этого блога:
User-agent: * Disallow: /cgi-bin Disallow: /wp- Disallow: */feed Disallow: */trackback Disallow: */comment- Disallow: /*?* Disallow: /*.php* Disallow: /*.html* Disallow: */*.js* Disallow: /xmlrpc.php Disallow: /category Disallow: /tag Disallow: /about Disallow: /contacts Disallow: /post/date Disallow: /webstat Allow: /wp-content/uploads/ Host: sauron.org.ua Sitemap: http://sauron.org.ua/sitemap.xml Sitemap: http://sauron.org.ua/sitemap.xml.gz
Результат проверки robots.txt поисковой системой Яндекс:
