Настраиваем Robots.txt для WordPress

Приветствую друзья! Сегодня мы настраиваем Robots.txt, многие недооценивают его важность. Основной задачей — является ускорение индексации, точнее в данном файле мы прописываем правила для поисковика, что индексировать, а, что нет, тем самым облегчая жизнь себе и поисковику.

Рекомендую использовать код ниже, точнее это проверенный код, который используют большинство блогеров работающих на WordPress.

Правильный Robots.txt для WordPress, Настраиваем Robots.txt:

Расшифровка команд

  1. Allow — разрешить индексацию
  2. Disallow — запретить индексацию
  3. Host — основное зеркало
  4. User-agent: * — делаем доступным наш блог для всех роботов
  5. User-agent: Yandex — делаем доступным наш блог для Яндекса
  6. Disallow: /cgi-bin — блокируем индексацию скриптов на сервере, обязательно!
  7. Sitemap: — путь к сайтмап.xml

Установка  и послесловие

После формирования файла robots.txt, его необходимо положить в корень нашего сайта, чтобы адрес был следующего вида ваш_сайт.ru/robots.txt

На этом все. Как видите — все достаточно просто, главное немножко усилий. Больше информации об оптимизации сайта читайте на странице — продвижение сайта.

Видишь кнопочки сверху?

Если тебе понравился материал - поделись им с друзьями и коллегами, на форумах и в соц. сетях. Чтобы ничего не пропустить - подпишись на обновления. Спасибо ;)

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*