Правильные Robots.txt для Joomla и Wordpress (11.11.2011). Печать
2011 - Ноябрь
11.11.2011 16:58
Save & Share

Не буду разглагольствовать, как я это вывел, почему именно так; берите на заметку, каждая строка, в принципе, понятна. Обязательно ищите аналогичные примеры в интернете и решайтесь.

Для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Sitemap: https://bad-good.ru/index.php?option=com_xmap&sitemap=1&view=xml
С последней строчкой уточнение: я использую компонент XMap, мне так удобнее.

Для WordPress:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Crawl-delay: 1
Host: bad-good.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments


Sitemap: https://bad-good.ru/robots.xml
С последней строчкой уточнение: я использую плагин Google Sitemap Generator. Директива Crawl-delay относится четко к яндексу и значит: если сервак сильно загружен - подождать 1 секунду.

Обновлено ( 23.07.2019 20:20 )