WordPress robots txt, это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы можно обходить, а какие лучше не трогать. Правильно настроенный файл убирает из индекса технический мусор и служебные разделы движка, а рабочие страницы оставляет открытыми, чтобы они приводили посетителей и заявки.
Мы в lucky-seo продвигаем сайты бизнеса и почти в каждом аудите на WordPress видим одну и ту же картину: robots.txt либо стоит по умолчанию и режет лишнее, либо закрывает то, что должно продавать. Эта статья раскладывает файл по полкам с позиции владельца, который хочет заявки, а не красивые графики. Покажем, что такое robots.txt на WordPress, как его настроить, проверить и не наступить на грабли, которые стоят бизнесу трафика.
- Что такое robots.txt на WordPress и зачем он бизнесу
- Для чего нужен файл robots.txt на сайте
- Где лежит и как открыть robots.txt в WordPress
- Оптимальные правила и код robots.txt для WordPress
- Как настроить robots.txt для WordPress пошагово
- Проверка работы файла robots.txt
- Частые ошибки в robots.txt на WordPress
- Частые вопросы
- Выводы
Что такое robots.txt на WordPress и зачем он бизнесу
Robots.txt, это файл-инструкция для поисковых роботов Яндекса и Google, лежащий по адресу вида ваш-сайт.ру/robots.txt. Он не пароль и не замок: файл только рекомендует роботу, что обходить, а решение всё равно за поисковиком. Но добросовестные роботы эти рекомендации соблюдают, поэтому файл остаётся базовым инструментом технического SEO.
Для WordPress тема особенно живая, потому что движок из коробки плодит служебные страницы: админку, разделы с тегами, архивы по датам и авторам, страницы вложений, дубли с параметрами. Если пустить робота везде, он тратит краулинговый бюджет (crawl budget) на мусор и хуже доходит до карточек товаров и услуг, которые реально приводят клиентов.
Бизнесу это важно по простой причине: в индексе должны быть страницы, которые продают, а не служебные хвосты движка. Чистый индекс, это меньше дублей, понятнее сигналы для поисковика и выше шанс, что нужную страницу покажут по коммерческому запросу.
Для чего нужен файл robots.txt на сайте
Файл robots.txt управляет обходом сайта: закрывает от роботов служебные и дублирующие разделы и оставляет открытым всё, что должно ранжироваться. Это первый рубеж технического SEO, с которого начинается наведение порядка на сайте.
Основные задачи файла на практике продвижения выглядят так:
- Закрыть от обхода админку и служебные каталоги WordPress.
- Убрать из обхода дубли: страницы с параметрами, версии для печати, результаты внутреннего поиска.
- Освободить краулинговый бюджет для важных страниц каталога и услуг.
- Указать роботу адрес карты сайта (sitemap.xml) для быстрого обнаружения новых страниц.
- Задать при необходимости паузу между запросами, чтобы робот не перегружал слабый хостинг.
Важно понимать границу возможностей. Robots.txt управляет обходом, а не индексацией напрямую. Если на закрытую в robots.txt страницу ведут внешние ссылки, поисковик может показать её в выдаче без описания. Чтобы страница гарантированно не попала в индекс, нужен мета-тег noindex на самой странице, а не только запрет в robots.txt. Подробнее про сам файл и его синтаксис есть в отдельном разборе robots txt что это.
Не закрывайте в robots.txt папки со стилями и скриптами (wp-includes, часть wp-content). Google и Яндекс рендерят страницу как браузер, и если робот не видит CSS и JS, он считает сайт битым или неудобным для мобильных. Это прямой минус к позициям.
Где лежит и как открыть robots.txt в WordPress
Файл robots.txt лежит в корневой папке сайта, там же, где находится index.php и wp-config.php. Открыть его для правки можно тремя способами, и выбор зависит от того, насколько вы дружите с хостингом.
WordPress по умолчанию отдаёт виртуальный robots.txt, которого нет как физического файла на диске. Пока вы не создадите настоящий файл, движок генерирует минимальный набор правил на лету. Как только в корне появляется реальный robots.txt, движок отдаёт именно его.
| Способ правки | Кому подходит | Плюсы | Минусы |
|---|---|---|---|
| Файловый менеджер хостинга или FTP | тем, у кого есть доступ к файлам | полный контроль, физический файл | нужен доступ к хостингу и аккуратность |
| SEO-плагин (Yoast SEO, All in One SEO, Rank Math) | большинству владельцев | правка прямо из админки, без FTP | зависит от плагина, лишний код на сайте |
| Ручное создание файла в блокноте и загрузка в корень | тем, кто хочет свой чистый файл | ничего лишнего, полный контроль | требует аккуратной загрузки в корень |
Для большинства бизнесов проще всего править файл через SEO-плагин: почти всегда он уже стоит для мета-тегов и карты сайта, а редактор robots.txt в нём встроен. Если сайтом занимается подрядчик или разработчик, файл обычно ведут вручную, чтобы держать его чистым и под контролем.
Оптимальные правила и код robots.txt для WordPress
Хороший robots.txt для WordPress закрывает служебные разделы движка и оставляет открытым контент, стили и скрипты. Ниже базовый рабочий пример, который подходит большинству сайтов на WordPress и не режет лишнего.
«`
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /author/
Disallow: /tag/
Sitemap: https://ваш-сайт.ру/sitemap.xml
«`
Разберём логику по строкам. Директива User-agent со звёздочкой обращается ко всем роботам сразу. Disallow закрывает раздел, Allow открывает исключение внутри закрытого. Строка admin-ajax.php оставлена открытой намеренно: через неё работает часть скриптов темы, и её закрытие ломает динамические элементы. В конце указан Sitemap, чтобы робот сразу нашёл карту сайта.
Раздел с тегами и авторами закрывают не всегда: если вы ведёте блог и метки приводят трафик, их оставляют открытыми. Здесь нет единого правила на все сайты, есть логика «открываем то, что должно ранжироваться, закрываем дубли и служебное». Готовый чеклист по настройке собран в материале как настроить robots txt.
Самая дорогая ошибка на WordPress, это забытый после разработки запрещающий файл. При запуске сайта на тестовом сервере часто ставят Disallow: / чтобы черновик не попал в поиск. Потом сайт переносят на боевой домен, а строку убрать забывают. Итог: работающий бизнес неделями закрыт от Яндекса и Google целиком, продаж из поиска ноль, а причину ищут где угодно, только не в одной строчке robots.txt. Первым делом при падении трафика откройте свой robots.txt и убедитесь, что там нет Disallow: /.
Как настроить robots.txt для WordPress пошагово
Настройка robots.txt на WordPress занимает несколько минут и не требует навыков программирования. Порядок ниже проходится сверху вниз без возврата к предыдущим шагам.
- Откройте адрес ваш-сайт.ру/robots.txt в браузере и посмотрите, что там сейчас.
- Решите, каким способом будете править: через SEO-плагин в админке или через файловый менеджер хостинга.
- Скопируйте базовый рабочий пример правил и подставьте свой реальный домен в строку Sitemap.
- Уберите из шаблона строки, которые не нужны вашему сайту, и добавьте свои закрытия при необходимости.
- Сохраните файл в корне сайта или в редакторе плагина.
- Проверьте, что стили и скрипты не закрыты и что нет случайного Disallow: / в начале.
- Отправьте файл на проверку в панели вебмастера Яндекса и Google Search Console.
- Через несколько дней убедитесь, что служебные страницы уходят из индекса, а рабочие остаются.
Отдельно про мультиязычные и региональные сайты: если у вас поддомены или каталоги под разные языки, robots.txt настраивают под каждый корень отдельно. Общий пример для русскоязычного сайта разобран в заметке ru robots txt.
Проверка работы файла robots.txt
Проверить robots.txt нужно обязательно после каждой правки, потому что одна лишняя строка способна закрыть от поиска весь сайт. Проверка занимает пару минут и делается штатными инструментами поисковиков.
Первый шаг, это просто открыть файл в браузере по адресу ваш-сайт.ру/robots.txt. Если файл открывается и показывает ваши правила, он на месте. Если отдаёт 404, файла нет и WordPress раздаёт виртуальный вариант по умолчанию.
Дальше идут инструменты вебмастера. В Яндекс Вебмастере есть анализ robots.txt: он показывает, какие правила распознаны и разрешён ли конкретный URL для обхода. В Google Search Console доступна проверка отдельных адресов на индексируемость. Оба инструмента позволяют вбить адрес важной страницы и убедиться, что робот её видит.
После правки robots.txt всегда прогоняйте через анализатор Яндекс Вебмастера три-четыре ключевые страницы: главную, страницу услуг или каталога, одну карточку товара и один раздел блога. Если хоть одна закрыта случайно, вы поймаете это до того, как страница выпадет из индекса, а не через месяц по падению заявок.
Частые ошибки в robots.txt на WordPress
Ошибки в robots.txt почти всегда сводятся к двум крайностям: закрыли лишнее или не закрыли нужное. Обе стоят бизнесу трафика, но по-разному.
Закрывают лишнее, когда бездумно копируют чужой файл с закрытыми стилями и скриптами или оставляют боевой запрет Disallow: / после переноса сайта. Результат виден по резкому падению страниц в индексе и обвалу заявок из поиска.
Не закрывают нужное, когда в индекс валятся дубли: страницы с параметрами, результаты внутреннего поиска, версии для печати, бесконечные архивы по датам. Поисковик видит десятки почти одинаковых страниц, распыляет по ним сигналы и хуже ранжирует главные. Отдельная тема, это когда сайт целиком закрывают ради разработки, а забывают открыть; про такой сценарий есть разбор закрывающий robots txt. По нашему опыту продвижения именно забытый запрет чаще всего оказывается причиной внезапной пропажи сайта из выдачи.
Есть и ирония жанра: владельцы месяцами платят за контекстную рекламу, чтобы получить хоть какой-то трафик, пока сам сайт закрыт от бесплатного поиска одной строкой в robots.txt, о которой никто не помнит. Сначала стоит открыть файл и проверить фундамент, а уже потом наращивать бюджеты.
Частые вопросы
Что такое robots.txt в WordPress простыми словами?
Robots.txt в WordPress, это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы обходить, а какие пропускать. Он помогает убрать из внимания поисковика служебные разделы движка и оставить открытыми страницы, которые приводят клиентов.
Нужен ли robots.txt на WordPress, если есть виртуальный по умолчанию?
Свой robots.txt нужен почти всегда, потому что виртуальный вариант от WordPress минимальный и не закрывает многие дубли и служебные разделы. Как только вы создаёте реальный файл в корне, движок начинает отдавать именно его, и вы получаете полный контроль над обходом.
Как проверить robots.txt на WordPress?
Откройте адрес ваш-сайт.ру/robots.txt в браузере, чтобы увидеть текущие правила, а затем прогоните файл через анализатор в Яндекс Вебмастере и проверку URL в Google Search Console. Эти инструменты показывают, разрешён ли обход конкретной страницы, и ловят случайные запреты.
Можно ли закрыть весь сайт от индексации через robots.txt?
Строка Disallow: / под User-agent: * запрещает обход всего сайта, и её используют на время разработки. На боевом сайте эту строку держать нельзя: она убирает страницы из поиска и обнуляет бесплатный трафик, поэтому после запуска её обязательно убирают.
Закрывает ли robots.txt страницу от индексации полностью?
Robots.txt управляет обходом, а не индексацией напрямую, поэтому закрытая в нём страница всё равно может попасть в выдачу, если на неё ведут внешние ссылки. Для гарантированного исключения из индекса на страницу ставят мета-тег noindex, а не только запрет в robots.txt.
Отличается ли robots.txt для WordPress от файла для других движков?
Логика файла одинаковая для всех сайтов, но набор закрываемых разделов зависит от движка, ведь у WordPress свои служебные пути вида wp-admin и wp-json, а у Bitrix свои. Поэтому чужой файл нельзя копировать напрямую: его правила подгоняют под структуру конкретной системы управления сайтом.
Как часто нужно править robots.txt?
Файл трогают редко, обычно при запуске сайта, смене структуры или появлении новых типов дублей. После каждой правки его обязательно проверяют в инструментах вебмастера, потому что цена одной ошибочной строки, это выпадение сайта или его разделов из поиска.
Выводы
Robots.txt на WordPress, это не формальность, а рабочий инструмент, который либо помогает сайту приводить клиентов, либо тихо режет ему трафик. Правильно настроенный файл закрывает служебный мусор движка, освобождает краулинговый бюджет для продающих страниц и оставляет открытыми стили и скрипты, без которых поисковик считает сайт неудобным.
Бизнесу важно помнить главное: сам по себе robots.txt не выведет сайт в топ, он лишь убирает технические помехи. Первый шаг при любом падении трафика, это открыть свой файл и убедиться, что там нет забытого запрета на весь сайт. Дальше идёт полноценное техническое SEO, сбор семантики и работа над содержанием, потому что чистый robots.txt, это фундамент, а не готовый поток заявок.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.