Зачем нужен robots txt: это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы обходить, а какие пропускать. Правильно настроенный robots txt бережёт краулинговый бюджет, убирает из выдачи мусорные и служебные страницы и не даёт поисковику тратить силы на разделы, которые не приносят заявок.
Мы в lucky-seo продвигаем сайты бизнеса и в каждом втором аудите находим либо пустой robots txt, либо файл, который случайно закрывает от индексации половину каталога. Разберём с позиции владельца, который считает деньги: что делает этот файл, как его настроить без риска для трафика и где бизнес чаще всего теряет позиции из-за одной строки. Технику дадим корректно, но с оглядкой на результат, а не ради красивых графиков.
Зачем нужен robots txt простыми словами
Robots txt нужен, чтобы управлять поведением поисковых роботов на сайте и не пускать их туда, где им делать нечего. Файл лежит по адресу вида site.ru/robots.txt, и любой робот Яндекса или Google перед обходом сайта сначала заглядывает именно в него, а уже потом решает, какие страницы читать.
Для бизнеса выгода прямая. У поисковика есть краулинговый бюджет (crawl budget), ограниченное число страниц, которое робот готов обойти за визит. Если этот бюджет уходит на корзину, личный кабинет, страницы фильтров и служебные скрипты, до важных карточек товаров и посадочных страниц робот доходит реже. Меньше обходов нужных страниц, значит медленнее индексация и дольше выход в топ по коммерческим запросам.
Второй смысл файла, гигиена выдачи. Без настроенного robots txt в поиск легко попадают технические страницы: результаты внутреннего поиска, копии с параметрами, тестовые разделы. Такой мусор размывает релевантность и портит впечатление клиента, который кликнул по вашей ссылке и попал на пустую служебную страницу вместо предложения.
Не воспринимайте robots txt как замок от индексации. Это рекомендация для роботов, а не запрет доступа. Секретные данные (личные кабинеты, админку, персональную информацию клиентов) закрывают паролем и настройками сервера, а не строкой Disallow, иначе вы фактически публикуете список того, что хотели спрятать.
Как работает robots txt и что он умеет
Robots txt работает через простые директивы, которые робот читает сверху вниз и применяет к своему поведению. Синтаксис минимальный, но именно из-за кажущейся простоты в нём чаще всего ошибаются и закрывают лишнее.
Базовых команд немного, и знать их полезно даже владельцу, чтобы понимать, что делает подрядчик. User-agent задаёт, к какому роботу обращается правило (звёздочка означает всех). Disallow запрещает обход указанного раздела. Allow разрешает обход внутри закрытого раздела. Sitemap указывает роботу путь к карте сайта, чтобы он быстрее нашёл все нужные страницы.
Важный нюанс, который стоит денег на практике. Закрытие страницы в robots txt не то же самое, что запрет индексации. Если на закрытую в robots txt страницу ведут внешние ссылки, она всё равно может попасть в выдачу, но без описания и с пометкой, что содержимое недоступно. Для надёжного исключения страницы из поиска используют мета-тег noindex или заголовок X-Robots-Tag, а robots txt применяют для управления обходом. Подробнее про синтаксис и структуру файла удобно смотреть в отдельном разборе про robots txt.
Чем robots txt отличается от noindex?
Robots txt управляет обходом (заходить роботу на страницу или нет), а noindex управляет индексацией (показывать страницу в выдаче или нет). Это разные инструменты для разных задач, и их часто путают.
Если закрыть страницу в robots txt, робот на неё не зайдёт и не увидит мета-тег noindex внутри. Получается ловушка: вы хотите убрать страницу из поиска через noindex, но robots txt не пускает робота её прочитать, и страница остаётся в выдаче. Правило простое: хотите скрыть страницу из результатов, оставьте её открытой для обхода и поставьте noindex. Хотите просто не тратить бюджет на служебный раздел, закройте его в robots txt.
Пошаговая инструкция по настройке robots txt
Настройка robots txt: это управляемый процесс, а не творчество, и порядок действий бережёт от дорогих ошибок. По нашему опыту продвижения именно нарушение последовательности приводит к тому, что сайт случайно выпадает из индекса.
- Найдите или создайте файл robots.txt в корневой папке сайта, он должен открываться по адресу вашдомен/robots.txt.
- Определите, какие разделы не должны попадать в поиск: корзина, оформление заказа, личный кабинет, внутренний поиск, страницы с UTM-метками.
- Пропишите User-agent: со звёздочкой, чтобы правила действовали на всех роботов.
- Добавьте строки Disallow для служебных разделов, каждую с новой строки и с ведущего слэша.
- Через Allow откройте нужные страницы внутри закрытых разделов, если такие есть.
- Укажите директиву Sitemap с полным адресом карты сайта.
- Проверьте файл в валидаторе Яндекс Вебмастера и Google Search Console, чтобы убедиться, что нужные страницы не закрыты.
- Через несколько дней после публикации проверьте в панелях, не пропали ли важные страницы из индекса.
Этот порядок одинаков для интернет-магазина, сайта услуг и корпоративного сайта. Отличаться будет только список закрываемых разделов, а логика сначала проверить, потом закрыть, потом ещё раз проверить остаётся общей.
Самая дорогая ошибка бизнеса, оставить после разработки сайта строку Disallow: / со слэшем. Она закрывает от роботов весь сайт целиком. Разработчик ставит её на время сборки, чтобы недоделанный сайт не попал в поиск, а после запуска забывает убрать. В итоге бизнес платит за рекламу и SEO, а сайт месяцами не индексируется, потому что одна строка запрещает роботам вообще заходить. Первым делом при падении трафика проверяют именно robots txt.
Преимущества и недостатки robots txt
Robots txt даёт бизнесу управление тем, как поисковик тратит ресурсы на сайт, но у инструмента есть чёткие границы. Понимание плюсов и минусов бережёт от завышенных ожиданий и опасных решений.
Сильные стороны файла ощутимы для крупных сайтов. Он экономит краулинговый бюджет и направляет робота на важные страницы, ускоряет их переобход и индексацию. Он убирает из выдачи технический мусор и дубли, которые размывают релевантность. Он подсказывает роботу карту сайта, поэтому новые страницы находятся быстрее. При этом файл лёгкий, ничего не весит и не влияет на скорость загрузки.
Ограничения не менее важны. Robots txt носит рекомендательный характер: добросовестные роботы Яндекса и Google его соблюдают, но вредоносные боты и парсеры могут игнорировать. Он не защищает данные и не заменяет пароль. Он не гарантирует удаление страницы из поиска, для этого нужен noindex. И он не терпит небрежности: одна лишняя строка способна обрушить индексацию всего сайта.
Ниже сведены основные плюсы и минусы, чтобы было видно, за что отвечает файл, а за что нет.
| Что делает robots txt | Чего robots txt не делает |
|---|---|
| Управляет обходом страниц роботами | Не защищает данные от доступа |
| Экономит краулинговый бюджет | Не гарантирует удаление из выдачи |
| Скрывает служебные разделы от обхода | Не блокирует вредоносных ботов |
| Указывает путь к карте сайта | Не влияет на скорость и ранжирование напрямую |
| Убирает мусор и дубли из индекса | Не заменяет пароль и noindex |
Вывод из таблицы простой. Robots txt инструмент управления обходом, а не защиты и не гарантированного исключения из поиска. Для скрытия страниц из выдачи нужен noindex, для защиты данных пароль, для чистки индекса связка обоих подходов.
Сравнение robots txt с другими способами управления индексацией
Robots txt: это лишь один из инструментов управления поведением поисковика, и для разных задач подходят разные способы. Выбор зависит от того, чего вы хотите добиться: не пустить робота, убрать страницу из поиска или защитить данные.
Помимо robots txt у бизнеса есть несколько рычагов. Мета-тег noindex закрывает конкретную страницу от индексации, но требует, чтобы робот на неё зашёл. Заголовок X-Robots-Tag делает то же самое на уровне сервера и удобен для файлов вроде PDF. Пароль или закрытие через настройки сервера реально прячут раздел от всех. Канонический тег (canonical) решает проблему дублей, указывая на главную версию страницы вместо запрета.
На практике эти инструменты не конкурируют, а работают в связке. Служебные разделы закрывают в robots txt, чтобы не тратить бюджет. Отдельные страницы, которые не должны попасть в поиск, но должны быть доступны пользователю, помечают noindex. Дубли с параметрами схлопывают через canonical. Секретные данные прячут паролем. Грамотная техническая настройка учитывает все эти рычаги вместе, о чём подробнее в материале про то, как настроить robots txt.
Нужен ли robots txt маленькому сайту?
Robots txt полезен даже небольшому сайту, но его настройка проще и требует меньше правил. У сайта на десять страниц краулинговый бюджет не проблема, робот легко обходит всё, поэтому острой нужды экономить обход нет.
При этом базовый файл всё равно стоит иметь: закрыть служебные разделы движка, страницы с параметрами и указать карту сайта. Даже на маленьком проекте легко случайно наплодить дубли через фильтры или UTM-метки, и robots txt вместе с canonical наводит порядок. Отсутствие файла не критично, но его правильная настройка отнимает полчаса и снимает часть будущих проблем.
Примеры использования robots txt в бизнесе
Robots txt настраивают по-разному в зависимости от типа сайта, и одна и та же логика даёт разные акценты. По практике проектов покажем типичные сценарии без выдуманных цифр и имён.
Для интернет-магазина главная работа вокруг фильтров и параметров. Каталог с сортировками и фильтрами порождает тысячи почти одинаковых страниц вида категория с параметрами. Их закрывают в robots txt или схлопывают через canonical, чтобы робот тратил бюджет на реальные карточки товаров и категории, а не на бесконечные комбинации фильтров. Здесь настройка файла напрямую влияет на скорость индексации новинок, а значит и на продажи.
Для сайта услуг с городами и районами robots txt держит в узде страницы внутреннего поиска и служебные разделы, но при этом бережно оставляет открытыми посадочные страницы под запросы. Ошибка здесь дорогая: закрыв лишнее, легко выкинуть из индекса страницы районов, которые собирают локальный трафик.
Для корпоративного сайта и B2B основная задача файла скромнее: закрыть админку, тестовые поддомены и черновики, оставив открытыми статьи, кейсы и услуги. Тут robots txt чаще идёт в связке с контентом, потому что видимость собирают статьи, а файл лишь следит, чтобы робот не отвлекался на служебное.
Отдельный честный сюжет. Бизнес нередко приходит к нам после того, как трафик рухнул без видимой причины, начались обвинения в адрес алгоритмов и подрядчика. А в корне сайта лежит robots txt с директивой Disallow: / после недавнего переезда или редизайна. Красивая ирония SEO в том, что самый разрушительный файл на сайте весит меньше килобайта. Если хотите глубже разобраться в том, что означает закрывающий robots txt, этот разбор снимает большинство вопросов.
Частые вопросы
Что будет, если на сайте нет robots txt?
Без robots txt сайт всё равно индексируется, роботы обходят его целиком, но без управления обходом. На маленьком сайте это не критично, а на большом ведёт к трате краулингового бюджета на служебные и дублирующие страницы, из-за чего важные разделы индексируются медленнее. Базовый файл стоит завести почти всегда.
Robots txt закрывает страницу от индексации?
Robots txt закрывает страницу от обхода, а не от индексации напрямую. Если на закрытую страницу ведут внешние ссылки, она может попасть в выдачу без описания. Для надёжного исключения страницы из поиска используют мета-тег noindex, оставив страницу открытой для обхода, чтобы робот этот тег увидел.
Где должен лежать файл robots txt?
Файл robots txt должен лежать строго в корне сайта и открываться по адресу вашдомен/robots.txt. Если положить его в подпапку, роботы его не найдут и правила работать не будут. Имя файла пишется строчными буквами без вариаций.
Как проверить правильность robots txt?
Правильность robots txt проверяют в бесплатных инструментах Яндекс Вебмастера и Google Search Console, где есть валидатор и проверка конкретных страниц. Вставляете адрес страницы и видите, разрешён ли её обход. Проверять файл нужно после каждого изменения и при любом падении трафика.
Можно ли закрыть весь сайт через robots txt?
Закрыть весь сайт можно строкой Disallow: / со слэшем, и разработчики используют её на время сборки. Опасность в том, что после запуска эту строку забывают убрать, и сайт месяцами не попадает в поиск. При работающем сайте такая директива это авария, которую находят первым делом при пропаже индексации.
Влияет ли robots txt на позиции в поиске?
Robots txt не поднимает позиции напрямую, но косвенно влияет на результат через управление индексацией. Правильный файл ускоряет обход важных страниц и убирает мусор из выдачи, что помогает ранжированию. Неправильный файл способен обрушить трафик, случайно закрыв нужные разделы.
Выводы
Robots txt: это маленький, но ответственный файл, который управляет тем, как поисковик тратит ресурсы на ваш сайт. Он экономит краулинговый бюджет, убирает из выдачи служебный мусор и подсказывает роботу карту сайта, а значит косвенно ускоряет индексацию коммерческих страниц. При этом он не защищает данные и не гарантирует удаление страницы из поиска, для этого есть пароль и noindex.
Главное правило для бизнеса, относиться к robots txt как к настройке, которую нельзя делать вслепую. Одна лишняя строка способна закрыть весь сайт от роботов и обнулить отдачу от рекламы и продвижения, поэтому файл проверяют после каждого изменения и при любом падении трафика. Если сомневаетесь в текущих настройках, начните с технического аудита сайта, часто именно там прячется причина того, почему сайт не растёт. Разобраться в базе поможет материал про robots txt что это.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.