Как оптимизировать Robots.txt для SEO в WordPress

Вы хотите оптимизировать ваш Robots.txt файл? Или вы не уверены в правильности вашего Robots.txt? И вообще, как и почему файл Robots.txt важен для SEO? Мы вам подскажем. В этой статье мы покажем вам как составить правильный Robots.txt и оптимизировать его для SEO и поможем вам понять важность файла robots.txt.

Недавно один наш пользователь спросил нас «Нужно ли вообще Robots.txt для сайта, и если да, то насколько она важна?» Файл Robots.txt играет важную роль в SEO производительности вашего сайта в целом. Его основная цель — это разрешить или запретить поисковым системам индексировать ту или иную часть вашего сайта. Точнее содержания вашего сайта.

Важность robots txt и его значение для SEO в WordPress

Обязательно ли нужен файл Robots.txt?

Отсутствие файла Robots.txt не остановит поисковые системы сканировать и индексировать ваш сайт. Тем не менее, настоятельно рекомендуется создать файл. Потому что также с его помощью вы можете предоставить поисковым системам XML Карту вашего сайта, если вы ранее не указывали карту сайта в инструментах вебмастера Google и Yandex.

Если у вас нет файла Robots.txt на вашем сайте, то мы рекомендуем вам сразу же его создать.

Где находиться Robots.txt? Как создать файл Robots.txt?

Файл Robots.txt обычно находиться в корневой папке вашего сайта. Чтобы получить к нему доступ, вы должны подключиться к вашему сайту, используя FTP клиента или с помощью файлового менеджера в панели управления вашего хостинга.

Это простой текстовый файл в формате .txt, и вы можете открыть и редактировать его в обычном блокноте.

Если вы не обнаружили Robots.txt в корневом каталоге вашего сайта, то вы всегда можете создать его самостоятельно. Все, что нужно сделать это создать текстовый файл в формате .txt, переименовать его в Robots а затем загрузить его в корневую папку вашего сайта.

Использование файла Robots.txt

Формат и содержание файла Robots.txt достаточно просты для понимания. Первая строка содержит имя пользователя-агента (user-agent). User-agent — это название поискового бота, которому будут действовать правила написанные в остальных строках. Например, Googlebot или Yandex. Вы можете использовать *, чтобы правила действовали для всех ботов.

В следующих строках будут Allow (разрешить) и Disallow (запретить) правила для поисковых систем. Т.е. что разрешить а что запретить от глаз поисковых систем.

Посмотрите пример файла Robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

В этом файле Robots.txt мы установили правила для всех ботов и разрешили индексировать каталог загруженных изображений.

В следующих двух строках мы запретили индексировать каталог установленных плагинов и файл readme.html.

Оптимизация файла Robots.txt для SEO

В руководстве для Веб-мастеров, Google советует веб-мастерам не использовать robots.txt для скрытия низкокачественного контента. Т.е. не будет хорошо, если вы в Robots.txt скроете не уникальную и скопированную с другого источника статью.

Помните, целю robots.txt является проинформировать ботов что они должны сделать с тем или иным содержанием, когда они сканируют ваш сайт. Т.е. Robots.txt не запрещает сканировать, он запрещает индексировать. И соответственно, если вы скроете в Robots.txt некачественный контент, то гугл все равно его отсканирует и увидит, но не будет индексировать. Это означает что гуглу будет известно о вашем некачественном контенте, которого вы попытались скрыть от его глаз. А это не есть хорошо!

Также, если вы задумали с помощью Robots.txt запретить от индексации страницы категорий, дат или другие страницы архивов, то это тоже не лучшая мысль.

Для этого есть плагины WordPress, которые позволяют добавить мета теги Noindex и Nofollow на страницы архивов. Один из таких плагинов это WordPress SEO by Yoast. Заметьте, мы не говорим что нужно обязательно добавлять Noindex и Nofollow в страницы архивов. Мы просто говорим что правильнее и лучше всего это сделать с помощью плагина, если это нужно.

Правильный способ добавления NoIndex в архив страниц в WordPress

В некоторых файлах Robots.txt вы можете увидеть такие строки:

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/

Но вам не нужно добавлять в Robots.txt страницу входа, страницу регистрации или папку администратора. Потому что эти страницы по умолчанию уже имеют атрибут noindex.

Рекомендуем запретить в Robots.txt файл readme.html. Потому что этот файл может быть использован злоумышленником, который пытается выяснить версию вашего WordPress. Если индивидуально вести в адресной строке браузера вашсайт.ru/readme.html, то файл все равно откроется, даже если вы запретили в robots.txt. Да, это плохо. Но с другой стороны этот запрет в Robots.txt (Disallow: /readme.html) сможет защитить ваш сайт от массовых автоматических атак злоумышленников.

Также рекомендуем запретить в файле Robots.txt каталог плагинов. Это также обезопасит ваш сайт от массовых атак, основанных на поиске уязвимых плагинов.

Добавление XML Карты сайта (XML Sitemap) в Robots.txt

Если вы используете плагин WordPress SEO или Google XML Sitemap для построения карты сайта, то плагин автоматически будет пытаться добавить ссылки на карты сайта в файл Robots.txt.

Однако, если этого не удастся, то вы можете сделать это вручную, скопировав код ниже (вместо vashsite напишите свой домен).

Если ваша карта сайта построена с помощью WordPress SEO by Yoast:

Sitemap: http://vashsite.ru/post-sitemap.xml
Sitemap: http://vashsite.ru/page-sitemap.xml

Если ваша карта сайта построена с помощью Google XML Sitemap:

Sitemap: http://vashsite.ru/sitemap.xml.gz
Sitemap: http://vashsite.ru/sitemap.xml

Каким должен быть идеальный и правильный Robots.txt?

Честно говоря, многие популярные блоги используют очень простые Robots.txt. И их содержания отличаются в зависимости от нужд конкретного сайта.

User-agent: *
Disallow:

Sitemap: http://vashsite.ru/post-sitemap.xml
Sitemap: http://vashsite.ru/page-sitemap.xml

Этот файл Robots.txt говорит всем поисковым системам, что можно индексировать все содержимое и предоставляет им ссылки XML Карты сайта.

Вот еще один пример файла Robots.txt, который используется в нашем сайте WPWow.

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: https://wpwow.ru/post-sitemap.xml
Sitemap: https://wpwow.ru/page-sitemap.xml

На этом все. Надеемся, что эта статья помогла вам понять важность и оптимизировать ваш WordPress файл Robots.txt для SEO.

Если вам понравилась статья, то получайте обновления в Twitter. Также вы можете найти нас Вконтакте и Facebook.

Метки: , , ,
Опубликовано в Гид для начинающих, Уроки

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*