Не буду разглагольствовать, как я это вывел, почему именно так; берите на заметку, каждая строка, в принципе, понятна. Обязательно ищите аналогичные примеры в интернете и решайтесь.
Для Joomla: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Sitemap: https://bad-good.ru/index.php?option=com_xmap&sitemap=1&view=xml С последней строчкой уточнение: я использую компонент XMap, мне так удобнее. Для WordPress: User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */comments Crawl-delay: 1 Host: bad-good.ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */comments Sitemap: https://bad-good.ru/robots.xml С последней строчкой уточнение: я использую плагин Google Sitemap Generator. Директива Crawl-delay относится четко к яндексу и значит: если сервак сильно загружен - подождать 1 секунду.
|