Статей на тему как правильно сделать robots.txt для WordPress огромное множество. Наша задача исключить дублирование контента для разделов Рубрики, Метки, Архив, Поиск и т.д.
Я буду краток и приведу лишь пример своей собственной реализации для этого блога:
User-agent: * Disallow: /cgi-bin Disallow: /wp- Disallow: */feed Disallow: */trackback Disallow: */comment- Disallow: /*?* Disallow: /*.php* Disallow: /*.html* Disallow: */*.js* Disallow: /xmlrpc.php Disallow: /category Disallow: /tag Disallow: /about Disallow: /contacts Disallow: /post/date Disallow: /webstat Allow: /wp-content/uploads/ Host: sauron.org.ua Sitemap: http://sauron.org.ua/sitemap.xml Sitemap: http://sauron.org.ua/sitemap.xml.gz
Результат проверки robots.txt поисковой системой Яндекс:
Related: prince philip, duke of edinburgh children, robert powell obituary, alaska bear attack pictures, is chris evert in a relationship, estudio dela atalaya de esta semana, abs certification surgery, taurus sun, moon and rising, one level townhomes in champlin, mn, walker county ga eviction, state of florida employee pay raise 2022, pictures of deformed rose buds, 10 essential literacy practices christine topfer, downtown natchez, ms homes for sale, cultures that celebrate death, golf memberships in pinehurst nc,