Новости
Домой » Создать свой сайт » Как сделать правильный robots.txt для Вордпресс

Как сделать правильный robots.txt для Вордпресс

Создав свой сайт, необходимо позаботится и об одном очень нужном файле – robots.txt. Правильный robots не поставляется ни с какими  CMS, его создают сами владельцы сайтов и загружают в корневую папку сайта, сюда: http://ваш-сайт.ru/robots.txt. Можно просто создать текстовый файл и назвать его «robots». Но лучше использовать для этого продвинутую программу  Notepad++.

 

 

Robots.txt — необходим для правильной индексации сайта и его продвижения. Из названия понятно, что файл – это есть робот, точнее он создается  для роботов поисковых систем. Правильный robots для wordpress  очень взято* с lady-win.ru_взя*то с lady-win.ru удобен, как для владельцев сайта – можно открыть или закрыть для индексации по своему усмотрению файлы, так и для поисковых машин – проиндексируют только то, что разрешено, а на остальное время свое тратить не будут.

Файл, конечно должен быть не пустым, а с набором специальных команд. Какие именно команды необходимо прописывать и сами советы по созданию Robots.txt, обычно можно прочитать в панели вебмастера.

Надеюсь, вы добавили ваш сайт в такую панель? Если нет, то добавляем:

Вебмастер Яндекс — предварительно зарегистрируйте ящик в Яндексе

Вебмастер  Google — также, создайте сначала ящик, но уже в gmail.com

Чтобы вам облегчить задачу напишу некоторые вз_ято с lady-wi*n.ru*взято с lady-win.ru принципы создания роботса и приведу примеры. Тем более, что принципы эти примерно одинаковые для всех сайтов, с той лишь разницей, что CMS отличаются и соответственно структура файлов и папок также различна. Мой пример касается CMS WordPress.

Вы можете посмотреть мой роботс по этому адресу: http://lady-win.ru/robots.txt

А поменяв название сайта, можно смотреть и сравнивать роботс всех сайтов, которые вам больше всего понравились в плане продвижения.

 

 

Итак, основной текст фала

с расшифровкой:

 

 Для рекламы Adsense

User-agent: Mediapartners-Google

взято с lady-win_.ru*взято с lad_y-win.ru

Disallow:

 

Для всех роботов

User-agent: *

Disallow: /cgi-bin

Disallow: /author

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-register.php

 

Закрывает нумерацию страниц

Disallow: /page/

 

Закрывает фиды, если они у вас есть

Disallow: /feed/

Disallow: */feed

Disallow: */*/feed

Disallow: */*/feed/*/

Disallow: /?feed=

 

Закрывает трэкбэки

Disallow: /trackback

Disallow: */trackback

 

Осторожно с этим запретом! Если у вас постоянные ссылки оформлены по умолчанию вот так : http://lady-win.ru/?p=123, то  все ваши статьи вообще не будут индексироваться. Смотрите свои параметры в: «Админ панель» => «Параметры» => «Постоянные ссылки»

Disallow: /*?*

Disallow: /*?

 

Закрывает тэги

Disallow: /tag/

 

Закрывает категории

Disallow: /category/*/*

 

взято с lad*y-win.ru*взято с lady-win.r*u

Закрывает комментарии

Disallow: */comments

 

Разрешает индексировать все файлы в папке uploads, которая в свою очередь лежит в папке wp-content, с именем 20 и т.д. Там  у меня лежат картинки, папки расписаны по годам «2012». Скоро у нас 2013 год наступит, чтобы отдельно его не прописывать, достаточно написать «20*»

Allow: /wp-content/uploads/20*

 

Закрывает все файлы в этих папках, кроме одной, ее разрешение описано выше

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

 

Запрет дублей поиска

Disallow: /?s=

 

———————————

 

Для Яндекс отдельно

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /author

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-register.php

….. повторяем текст, что и для взято с lady-win.*ru_взято с_ lady-win.ru основного робота и добавляем:

 

Ваш сайт (с www или без него)

Host: lady-win.ru

 

Карта сайтемап, создаем с помощью плагина — Google XML Sitemaps

Sitemap: http://lady-win.ru/sitemap.xml

Sitemap: http://lady-win.ru/sitemap.xml.gz

 

 

Также вы должны знать, что идеальный и правильный robots для wordpress — это миф, каждый вебмастер периодически переделывает свой роботс. Есть мнение, что чем короче robots txt, тем лучше. Так, что мне тоже есть куда стремиться )))

Подробное описание robots txt  в Яндексе

 

Вордпресс Сайт самой

3 комментария

  1. Наконец-то поняла этот robots.txt. Спасибо за подробное разъяснение. Я картинки разрешила, но что-то в яндексе их нет. Вебмастер пишет про какой-то про YandexImages, может этот параметр еще нужен?

  2. Не нужен. Яндекс и так проиндексирует картинки.

Оставить комментарий

Ваш email не будет опубликован.Необходимы поля отмечены *

*