Robots txt для сайта: что это, зачем нужен и как настроить без потери трафика

Robots txt для сайта, это текстовый файл в корне домена, который подсказывает поисковым роботам, какие страницы обходить, а какие пропускать. От его настройки зависит, попадут ли в поиск нужные разделы и не утекут ли в индекс корзина, админка и технический мусор.

Мы в lucky-seo продвигаем сайты бизнеса и регулярно видим, как одна строчка в этом файле закрывает от поиска половину каталога, а вместе с ним и половину заявок. Разберём по шагам, что такое robots txt, как его создать и проверить, и где владельцы сайтов чаще всего теряют трафик на ровном месте. Технику дадим корректно, но без превращения статьи в сухой мануал для роботов.

Что такое robots txt для сайта и зачем это нужно

Robots txt (robots exclusion protocol), это служебный файл в корне сайта, который управляет поведением поисковых роботов при обходе страниц. Он лежит по адресу вида ваш-домен.ru/robots.txt и содержит директивы, разрешающие или запрещающие сканирование отдельных страниц и разделов.

Бизнесу это важно по одной причине: в поиск должны попадать страницы, которые приводят клиентов, и не должны попадать те, что не имеют ценности для покупателя. Корзина, личный кабинет, страницы поиска по сайту, служебные скрипты, дубли с параметрами фильтров, всё это только размывает картину для поисковика и тратит его ресурс на обход. Грамотный robots.txt направляет робота туда, где живут деньги: карточки товаров, услуги, статьи, посадочные страницы.

Важно понимать границу возможностей файла. Robots.txt управляет обходом (crawling), но не гарантирует исключение из индекса. Если на закрытую страницу ведут внешние ссылки, поисковик может показать её в выдаче без описания. Для жёсткого запрета индексации используют мета-тег noindex, а robots.txt отвечает именно за то, куда роботу ходить, а куда нет.

Что такое robots txt и для чего он нужен на практике

На практике продвижения robots.txt решает три бизнес-задачи: экономит краулинговый бюджет, убирает мусор из поиска и защищает служебные разделы от лишнего внимания. Краулинговый бюджет (crawl budget), это условный лимит страниц, который робот готов обойти за визит, и на крупном сайте его легко спустить на бесполезные адреса.

Представьте интернет-магазин с фильтрами по цвету, размеру и цене. Каждая комбинация фильтров порождает свой URL, и без запрета робот честно обойдёт тысячи почти одинаковых страниц вместо новых товаров. В итоге свежие карточки индексируются медленно, а в выдаче болтаются дубли. Правильный robots.txt закрывает параметрические URL и оставляет роботу время на то, что реально продаёт.

Второй сценарий проще и встречается у любого сайта. В индекс не должны попадать страницы благодарности после заявки, результаты внутреннего поиска, версии для печати, тестовые поддомены. Всё это либо вводит пользователя в заблуждение, либо создаёт дубли, за которые поисковик снижает оценку сайта.

Основные рекомендации по созданию файла robots.txt

Файл robots txt для сайта пишут по строгим правилам синтаксиса, и мелкая ошибка тут стоит дорого. Робот читает директивы сверху вниз, поэтому порядок и точность формулировок влияют на итог напрямую.

Базовый набор директив компактный. User-agent задаёт, к какому роботу относятся правила (звёздочка означает всех). Disallow запрещает обход указанного пути. Allow разрешает обход внутри запрещённого раздела. Sitemap указывает адрес карты сайта. Для Яндекса раньше применяли директиву Host, но сейчас она не нужна, склейку зеркал решает редирект.

Держите файл читаемым и не закрывайте лишнего. Самый частый вред приходит не от того, что забыли что-то запретить, а от того, что случайно запретили слишком много.

Как создать файл robots.txt пошагово

Создать файл robots.txt можно в обычном текстовом редакторе за несколько минут, специальные программы не нужны. Главное, соблюсти имя, кодировку и место размещения, иначе поисковик файл просто не увидит.

1. Откройте простой текстовый редактор, например Блокнот или любой редактор кода, без Word и форматирования.
2. Напишите директивы, начав с строки User-agent и указав нужные Disallow и Allow.
3. Добавьте в конце строку Sitemap с полным адресом карты сайта.
4. Сохраните файл строго под именем robots.txt в кодировке UTF-8.
5. Загрузите файл в корневую папку сайта через панель хостинга или по FTP.
6. Откройте в браузере адрес ваш-домен.ru/robots.txt и убедитесь, что файл открывается.
7. Проверьте директивы в панелях Яндекс Вебмастер и Google Search Console.

Порядок одинаков для любого движка. Разница только в том, как вы попадёте в корень сайта: у одних это файловый менеджер хостинга, у других плагин или настройки CMS.

Как написать правила в файле robots.txt?

Правила пишут блоками, где каждый блок начинается с User-agent, а дальше идут директивы для этого робота. Пустая строка отделяет один блок от другого, а всё, что после решётки, считается комментарием и роботом игнорируется.

Простейший рабочий пример для типового сайта выглядит так: строка User-agent со звёздочкой, затем несколько Disallow на служебные разделы вроде админки и корзины, затем Allow для нужных вложенных путей, и в конце строка Sitemap. Путь в Disallow указывают от корня сайта, начиная со слеша, и он действует на всё, что начинается с этого пути.

Осторожнее со звёздочкой и знаком доллара. Звёздочка внутри пути заменяет любую последовательность символов, а доллар в конце означает точное окончание URL. Ошибка в этих символах, самый лёгкий способ закрыть от поиска не тот раздел.

Как загрузить файл robots.txt на сайт

Загрузить robots.txt нужно в корневую папку сайта, ту самую, где лежит главная страница. Файл обязан открываться по адресу ваш-домен.ru/robots.txt, любой другой путь поисковик проигнорирует.

Способ зависит от того, как устроен ваш сайт. На обычном хостинге открывают файловый менеджер в панели управления или подключаются по FTP и кладут файл в корневую директорию (часто она называется public_html или www). На популярных CMS есть плагины и встроенные редакторы, которые создают и правят robots.txt прямо из админки, без доступа к файлам. На конструкторах сайтов файл нередко генерируется автоматически, и вам остаётся только дописать нужные директивы через настройки.

Как протестировать разметку файла robots.txt

Протестировать robots.txt нужно до того, как он повлияет на индексацию, чтобы не закрыть важное по ошибке. Обе крупные поисковые системы дают бесплатные инструменты проверки, которые показывают, разрешён обход конкретного URL или запрещён.

В Яндекс Вебмастере есть раздел с анализом robots.txt: он подтягивает текущий файл, подсвечивает ошибки синтаксиса и позволяет вбить любой адрес и увидеть, откроет его робот или нет. В Google Search Console работает похожая проверка через отчёт о файле robots.txt. По нашему опыту продвижения полезно прогонять через такую проверку ключевые страницы: главную, разделы каталога, важные посадочные, чтобы точно знать, что они открыты роботу.

Отдельно стоит проверить, что файл не отдаёт ошибку сервера. Если robots.txt недоступен и возвращает код 500, часть поисковиков может временно приостановить обход сайта целиком.

Как отправить файл robots.txt в Google?

Отдельно отправлять robots.txt в Google не нужно, поисковик находит его сам по стандартному адресу в корне сайта. Google периодически перечитывает файл, обычно раз в сутки, и подхватывает изменения без вашего участия.

Если вы поправили файл и хотите ускорить его переобход, откройте инструмент проверки robots.txt в Google Search Console и запросите повторное считывание. В Яндекс Вебмастере переобход тоже инициируется через панель. Это не мгновенный процесс, но он подсказывает поисковику, что файл обновился и его стоит перечитать раньше планового срока.

Требования к файлу robots.txt

Требования к файлу robots.txt простые, но обязательные, и нарушение любого из них ведёт к тому, что директивы не сработают. Ниже сведены ключевые параметры, за которыми стоит следить.

Параметр	Требование
Имя файла	строго robots.txt, в нижнем регистре, без вариаций
Расположение	корневая папка сайта, доступ по /robots.txt
Кодировка	UTF-8, без спецсимволов и BOM в начале
Формат	простой текст, без HTML и форматирования
Размер	до 500 килобайт, всё сверх лимита Google игнорирует
Один файл на домен	по одному robots.txt на каждый протокол и поддомен
Ответ сервера	код 200 при обращении, а не редирект или ошибка

Отдельно про поддомены и протоколы. Для http и https, а также для каждого поддомена, robots.txt считается отдельным файлом. Если у вас есть блог на поддомене, ему нужен собственный файл, правила основного домена на него не распространяются.

Проверка файла robots.txt: что смотреть после настройки

Проверка файла robots.txt сводится к трём вопросам: открыт ли доступ к важным страницам, закрыт ли служебный мусор и нет ли случайного запрета всего сайта. Пройдитесь по этому короткому списку после каждой правки файла.

Сначала откройте robots.txt в браузере и глазами прочитайте директивы, часто ошибка видна сразу. Затем проверьте несколько ключевых URL через инструменты Яндекса и Google: главная, разделы каталога, важные посадочные должны быть разрешены. После этого убедитесь, что закрыты корзина, личный кабинет, результаты внутреннего поиска и параметрические дубли. И обязательно проверьте, что в файле нет одинокой строки Disallow со слешем, которая закрывает вообще всё.

По практике проектов особенно внимательно стоит проверять robots.txt после переноса сайта на новый движок, смены хостинга или крупной доработки. Именно в эти моменты файл чаще всего затирается дефолтным, в котором сайт закрыт от индексации целиком. Если нужно глубже разобраться с настройкой, пригодятся материалы про robots txt и подробный разбор того, как настроить robots txt под конкретный движок.

Зачем нужен файл robots.txt бизнесу, а не только SEO-специалисту

Файл robots.txt нужен бизнесу, потому что от него напрямую зависит, какие страницы поисковик покажет клиентам, а какие спрячет. Это не абстрактная техника, а рычаг, который либо приводит трафик на продающие страницы, либо гасит его ещё на входе.

Для владельца тут два практических вывода. Первый: перед запуском и после любой переделки сайта кто-то должен глазами проверить этот файл, иначе есть риск месяцами платить за сайт, невидимый в поиске. Второй: настройку robots.txt нельзя рассматривать в отрыве от общей технической чистоты сайта, вместе со скоростью, мобильной версией и картой сайта он образует фундамент, без которого продвижение буксует. Если хотите разобраться, что это robots txt на уровне деталей, начните с основ синтаксиса, а стратегию доверьте специалисту, который видит сайт целиком.

Ирония в том, что самый мощный по влиянию файл на сайте, это несколько строк текста без единой картинки. Именно из-за этой обманчивой простоты его правят второпях, а потом удивляются, куда делся трафик.

Выводы

Robots txt для сайта, это короткий файл с большим влиянием: он направляет поисковых роботов к продающим страницам и уводит их от служебного мусора. Настроить его несложно, важно соблюсти имя, кодировку, расположение и не закрыть лишнего, особенно стили, скрипты и весь сайт целиком.

Для бизнеса главный смысл прост: этот файл нужно проверять глазами при запуске сайта, переезде и любой крупной доработке, потому что одна забытая строка стоит месяцев невидимости в поиске. Robots.txt не работает в одиночку, он часть технического фундамента вместе с картой сайта, скоростью и мобильной версией. Настройте его аккуратно сами или доверьте специалисту, который видит сайт целиком, и не тратьте краулинговый бюджет впустую.

Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.