Robots.txt для WordPress: руководство по оптимизации SEO.

Robots.txt – это один из тех файлов, о которых многие владельцы сайтов WordPress слышали, но не всегда понимают его истинное значение и потенциал. На самом деле, это мощный инструмент, который может существенно повлиять на то, как поисковые системы индексируют ваш сайт, и, следовательно, на его видимость в результатах поиска.

В этой статье мы подробно рассмотрим, что такое robots.txt, почему он важен для WordPress, как его правильно настроить и какие распространенные ошибки следует избегать.

Что такое Robots.txt и зачем он нужен?

Robots.txt – это текстовый файл, который находится в корневом каталоге вашего сайта (например, yourdomain.com/robots.txt). Его основная функция – давать инструкции поисковым роботам (краулерам, или «паукам») о том, какие страницы или разделы вашего сайта им разрешено сканировать, а какие – нет.

Представьте, что ваш сайт – это большой дом, а поисковые роботы – это почтальоны. Robots.txt – это табличка на двери, которая говорит почтальонам, в какие комнаты им можно заходить, а в какие – нет (например, в кладовку или личный кабинет).

Почему это важно для WordPress?

Экономия краулингового бюджета: у каждого сайта есть так называемый «краулинговый бюджет» – количество страниц, которые поисковая система готова просканировать за определенный период. WordPress генерирует много служебных страниц (админка, страницы входа, архивы тегов/категорий с малым количеством контента, страницы поиска и т.д.), которые не всегда полезны для индексации. Запрещая сканирование этих страниц, вы направляете роботов на более важный контент, эффективно используя свой бюджет.
Предотвращение дублированного контента: WordPress может создавать дубликаты контента (например, одна и та же запись может быть доступна по нескольким URL-адресам через разные категории или теги). Robots.txt помогает избежать индексации этих дубликатов, что важно для SEO.
Защита конфиденциальных данных: хотя robots.txt не является инструментом безопасности, он может предотвратить индексацию страниц, содержащих конфиденциальную информацию (например, страницы входа в админку, папки с файлами для скачивания, которые не предназначены для публичного доступа).
Улучшение скорости индексации: когда роботы не тратят время на сканирование ненужных страниц, они быстрее находят и индексируют ваш основной, ценный контент.

Базовая структура Robots.txt

Файл robots.txt состоит из одного или нескольких блоков, каждый из которых начинается с директивы User-agent.

User-agent: указывает, для какого поискового робота предназначены следующие инструкции.
- User-agent: * – инструкции для всех поисковых роботов.
- User-agent: Googlebot – инструкции только для робота Google.
- User-agent: YandexBot – инструкции только для робота Яндекса.
- И так далее.
Disallow: запрещает сканирование указанного URL-адреса или каталога.
- Disallow: /wp-admin/ – запрещает сканирование папки wp-admin и всего, что в ней находится.
- Disallow: /wp-content/plugins/ – запрещает сканирование папки с плагинами.
- Disallow: /tag/ – запрещает сканирование всех страниц тегов.
- Disallow: /private-page.html – запрещает сканирование конкретной страницы.
Allow: разрешает сканирование указанного URL-адреса или каталога. Используется для исключений, когда вы запретили целый каталог, но хотите разрешить сканирование определенных файлов или подкаталогов внутри него.
- Disallow: /wp-content/
- Allow: /wp-content/uploads/ – запрещает сканирование всего wp-content, но разрешает uploads.
Sitemap: указывает путь к вашей XML-карте сайта. Это очень важная директива, которая помогает поисковым системам найти все важные страницы вашего сайта.

Как создать или отредактировать Robots.txt для WordPress

В WordPress есть несколько способов управления файлом robots.txt:

Через плагины SEO (рекомендуемый способ):
Самый простой и безопасный способ для большинства пользователей WordPress. Популярные SEO-плагины, такие как Yoast SEO, Rank Math или All in One SEO Pack, предоставляют удобный интерфейс для редактирования robots.txt.
- Yoast SEO: перейдите в Yoast SEO > Инструменты > Редактор файлов. Здесь вы найдете раздел для редактирования robots.txt.Rank Math: перейдите в Rank Math > Общие настройки > Редактировать Robots.txt.All in One SEO Pack: перейдите в All in One SEO > Инструменты > Редактор файлов.
Эти плагины автоматически создают виртуальный файл robots.txt, который WordPress динамически генерирует. Это означает, что физического файла robots.txt в корневой директории может не быть, но поисковые системы все равно будут его видеть по адресу yourdomain.com/robots.txt. Если вы создадите физический файл, он будет иметь приоритет.
Вручную или через FTP/Файловый менеджер:
Если вы предпочитаете ручное управление или у вас нет SEO-плагина, вы можете создать или отредактировать файл robots.txt напрямую.
- Подключитесь к вашему сайту через FTP-клиент (например, FileZilla) или используйте файловый менеджер в панели управления хостингом (cPanel, Plesk и т.д.).Перейдите в корневую директорию вашего сайта (обычно это public_html, www или название вашего домена).Проверьте, существует ли файл robots.txt.
  - Если он существует, скачайте его, отредактируйте в текстовом редакторе (например, Notepad++, Sublime Text) и загрузите обратно, перезаписав старый.Если его нет, создайте новый текстовый файл, назовите его robots.txt и загрузите в корневую директорию.
Важно: убедитесь, что файл назван именно robots.txt (строчными буквами) и находится в корневой директории.

Пример оптимального Robots.txt для WordPress

Вот пример хорошо настроенного файла robots.txt для большинства сайтов WordPress. Он блокирует доступ к служебным разделам, но разрешает доступ к важным файлам и указывает на карту сайта.


User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/*.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /*/feed/$
Disallow: /*/comments/feed/$
Disallow: /tag/
Disallow: /category/*/feed/
Disallow: /author/
Disallow: /search/
Disallow: /?s=
Disallow: /page/*/
Disallow: /embed/
Disallow: /wp-json/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.txt$
Disallow: /*.gz$
Disallow: /*.rar$
Disallow: /*.zip$
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.xls$
Disallow: /*.ppt$
Disallow: /*.odt$
Disallow: /*.ods$
Disallow: /*.odp$
Disallow: /*.webp$
Disallow: /*.svg$
Disallow: /*.eot$
Disallow: /*.ttf$
Disallow: /*.woff$
Disallow: /*.woff2$
Disallow: /*.otf$
Disallow: /*.ico$
Disallow: /*.psd$
Disallow: /*.ai$
Disallow: /*.eps$
Disallow: /*.scss$
Disallow: /*.less$
Disallow: /*.map$
Disallow: /*.bak$
Disallow: /*.log$
Disallow: /*.tmp$
Disallow: /*.sql$
Disallow: /*.mdb$
Disallow: /*.ini$
Disallow: /*.conf$
Disallow: /*.yml$
Disallow: /*.json$
Disallow: /*.xml$
Disallow: /*.csv$
Disallow: /*.tsv$
Disallow: /*.dat$
Disallow: /*.bin$
Disallow: /*.exe$
Disallow: /*.dll$

Sitemap: https://yourdomain.com/sitemap_index.xml

Пояснения к примеру:

Disallow: /wp-admin/: блокирует доступ к административной панели WordPress.
Allow: /wp-admin/admin-ajax.php: важное исключение. admin-ajax.php используется для асинхронных запросов, которые необходимы для корректной работы многих плагинов и тем. Без этого разрешения некоторые функции вашего сайта могут перестать работать.
Disallow: /wp-includes/: блокирует доступ к файлам ядра WordPress, которые не должны быть доступны напрямую.
Disallow: /wp-content/plugins/: блокирует доступ к папке с плагинами.
Disallow: /wp-content/cache/: блокирует доступ к кэшированным файлам, которые не нужны для индексации.
Disallow: /wp-content/themes/*.php: блокирует доступ к PHP-файлам тем, которые не являются страницами контента.
Disallow: /wp-login.php, Disallow: /wp-register.php: блокирует доступ к страницам входа и регистрации.
Disallow: /xmlrpc.php: блокирует доступ к файлу xmlrpc.php, который часто используется для атак.
Disallow: /feed/, Disallow: /comments/feed/: блокирует доступ к RSS-лентам записей и комментариев.
Disallow: /tag/, Disallow: /category/*/feed/: блокирует сканирование страниц тегов и RSS-лент категорий.
Disallow: /author/: блокирует сканирование страниц авторов, если вы не хотите, чтобы они индексировались.
Disallow: /search/, Disallow: /?s=: блокирует индексацию страниц результатов поиска.
Disallow: /page/*/: блокирует индексацию пагинации страниц (например, /page/2/).
Disallow: /embed/: блокирует индексацию страниц для встраивания контента.
Disallow: /wp-json/: блокирует доступ к REST API WordPress.
Disallow: /*.php$, Disallow: /*.css$, Disallow: /*.js$, и т.д.: эти директивы блокируют сканирование файлов с определенными расширениями. Это может быть полезно для предотвращения индексации служебных файлов, но будьте осторожны, чтобы не заблокировать что-то важное. В большинстве случаев, если вы используете SEO-плагин, эти правила могут быть излишними или даже вредными, так как они могут блокировать файлы, необходимые для корректной работы сайта. Рекомендуется использовать более точные правила, специфичные для вашего сайта.
Sitemap: https://yourdomain.com/sitemap_index.xml: указывает поисковым системам, где найти вашу карту сайта. Замените yourdomain.com на ваш реальный домен.

Распространенные ошибки и чего следует избегать

Полное блокирование wp-content/: если вы заблокируете всю папку wp-content/, поисковые системы не смогут проиндексировать ваши изображения, CSS-файлы и JavaScript, что негативно скажется на отображении сайта и его SEO. Всегда разрешайте сканирование папки uploads/ (где хранятся изображения) и, при необходимости, других подпапок.
Блокирование admin-ajax.php: как упоминалось выше, это может привести к неработоспособности многих функций сайта.
Неправильное указание пути: убедитесь, что пути в директивах Disallow и Allow указаны корректно, включая слеши (/).
Отсутствие Sitemap:: не указывая карту сайта, вы усложняете поисковым роботам задачу по обнаружению всех ваших страниц.
Слишком агрессивное блокирование: блокирование слишком большого количества страниц может привести к тому, что поисковые системы не найдут ваш ценный контент. Всегда думайте о том, что вы хотите, чтобы поисковые системы видели.

Использование robots.txt для безопасности: повторимся, robots.txt – это инструкция для поисковых роботов, а не для обычных пользователей или злоумышленников. Если вы хотите скрыть конфиденциальную информацию, используйте другие методы (например, парольную защиту, .htaccess или настройки сервера).
Создание физического файла robots.txt, когда используется SEO-плагин: если ваш SEO-плагин уже управляет robots.txt, создание физического файла в корневой директории может привести к конфликтам или игнорированию инструкций плагина. В большинстве случаев лучше использовать интерфейс плагина. Если вы все же создаете физический файл, убедитесь, что он правильно настроен и не противоречит логике плагина.
Игнорирование инструкций для конкретных роботов: если вы хотите дать разные инструкции для Google и Яндекса, используйте соответствующие директивы User-agent: Googlebot и User-agent: YandexBot.
Отсутствие тестирования: после внесения изменений в robots.txt крайне важно проверить его работоспособность.

Как проверить работоспособность Robots.txt

Google Search Console (ранее Google Webmaster Tools) предоставляет отличный инструмент для проверки файла robots.txt.

Перейдите в Google Search Console.
Выберите ваш сайт.
В меню слева найдите раздел «Сканирование» (или «Indexing») и выберите «robots.txt».
Вы увидите ваш текущий файл robots.txt и сможете протестировать отдельные URL-адреса, чтобы убедиться, что они разрешены или запрещены для сканирования в соответствии с вашими ожиданиями.

Заключение

Файл robots.txt – это не просто техническая деталь, а важный элемент стратегии SEO для вашего сайта WordPress. Правильная настройка позволяет вам управлять тем, как поисковые системы взаимодействуют с вашим сайтом, оптимизировать краулинговый бюджет, предотвращать дублирование контента и улучшать общую видимость в поисковой выдаче.

Используйте SEO-плагины для простоты и безопасности, но всегда понимайте, какие правила вы применяете. Регулярно проверяйте ваш файл robots.txt, особенно после установки новых плагинов или тем, чтобы убедиться, что он продолжает эффективно работать на благо вашего сайта. Грамотное использование robots.txt – это шаг к более эффективной индексации и лучшему ранжированию вашего WordPress-сайта.