Правильный файл robots.txt для WordPress 2020

Самый оптимальный и простой код файла robots.txt для вашего сайта на WordPress, который подойдет для всех поисковиков. Этот вариант использую на данном сайте. Не забудьте заменить it-blog.ru на адрес вашего сайта.

Если вы используете HTTPS, в директиве Host: нужно указать главное зеркало сайта вместе с протоколом.
Если на сайте используются 2 карты сайта, то указываем каждую в новой строчке в директиве Sitemap. Например плагин Google XML Sitemap создает 2 карты: обычную и в сжатом виде.

User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге по умолчанию
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: */embed           # все встраивания

Allow: */uploads            # открываем uploads
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf            # файлы в плагинах, cache папке и т.д.
Allow: /wp-admin/admin-ajax.php

# Карта сайта
Sitemap: https://it-blog.ru/sitemap_index.xml 
# Карта сайта в сжатом виде если есть
#Sitemap: http://example.com/sitemap.xml.gz # сжатая версия (.gz)

# Главное зеркало сайта
Host: it-blog.ru

robots2020-1024x625-3518153