Robot txt запрет индексации, это управление доступом поисковых роботов к разделам сайта через служебный файл robots.txt в корне домена. Директива Disallow говорит Яндексу и Google, какие страницы не нужно обходить, что помогает убрать из выдачи технический мусор, но при ошибке способна закрыть от поиска коммерчески важные разделы и обвалить поток заявок.
Мы в lucky-seo продвигаем сайты бизнеса и регулярно видим одну и ту же картину: владелец или разработчик один раз что-то дописал в robots.txt, забыл про этот файл, а через полгода страницы услуг перестали приносить клиентов. Эта статья разбирает, как настроить robot txt запрет индексации без вреда для бизнеса, чем Disallow отличается от noindex и где чаще всего теряют трафик. Технику даём корректно, а смотрим на неё глазами того, кто считает заявки, а не строки в файле.
Что такое robot txt запрет индексации и зачем это нужно
Robot txt запрет индексации, это набор правил в текстовом файле robots.txt, который лежит по адресу вашсайт.ru/robots.txt и подсказывает поисковым роботам, какие URL обходить не стоит. Строка Disallow с указанием пути закрывает раздел от обхода, а значит и от появления в поиске по прямому сканированию.
Бизнесу это нужно, чтобы в выдачу не попадал мусор, который отвлекает робота от важных страниц и портит впечатление о сайте. Под запрет обычно уходят корзина, личный кабинет, страницы поиска по сайту, служебные скрипты, дубли с параметрами и тестовые разделы. Чем чище индекс, тем понятнее поисковику, что на сайте главное, а значит выше шанс, что в топ выйдут именно страницы услуг и товаров.
Есть тонкость, из-за которой robots.txt часто понимают неверно. Запрет в этом файле, это просьба не обходить, а не приказ не показывать. Если на закрытую страницу ведут внешние ссылки, Google может добавить её в индекс без текста, одним URL. Поэтому для надёжного запрета показа используют другой инструмент, о нём ниже.
Пошаговая инструкция по использованию
Настроить robots txt закрыть индексацию просто, но порядок действий важен: одна лишняя строка способна закрыть весь сайт целиком. По нашему опыту проектов безопаснее двигаться от проверки текущего состояния к правкам, а не сразу переписывать файл вслепую.
- Откройте в браузере адрес вашсайт.ru/robots.txt и посмотрите, что там уже есть.
- Выпишите разделы, которые реально нужно скрыть от поиска: корзина, кабинет, внутренний поиск, служебные страницы.
- Убедитесь, что среди них нет страниц услуг, товаров и статей, которые приводят клиентов.
- Добавьте для нужных путей строки вида Disallow: /cart/ под директивой User-agent.
- Проверьте, что нигде нет одинокой строки Disallow: / которая закрывает весь сайт.
- Пропишите в конце файла адрес карты сайта строкой Sitemap с полным URL.
- Прогоните итог через инструмент проверки robots.txt в Яндекс Вебмастере и Google Search Console.
- Через неделю или две проверьте в тех же панелях, что закрылись только лишние разделы, а нужные остались в индексе.
Этот порядок одинаков и для лендинга, и для интернет-магазина на тысячи страниц. Разница только в объёме правил: у магазина под запрет уйдёт больше служебных путей и параметров фильтров.
После любой правки robots.txt проверяйте главные коммерческие страницы через инструмент проверки в Вебмастере и Search Console. Тридцать секунд проверки дешевле, чем месяц выпадения раздела услуг из поиска.
Как закрыть весь сайт от индексации через robots.txt?
Чтобы robots txt закрыть сайт целиком, добавляют две строки: User-agent со звёздочкой и Disallow с одним слэшем. Такой файл говорит всем роботам не обходить ни одной страницы, и это осознанно применяют на время разработки или для тестового домена.
Опасность в том, что эти же две строки часто остаются на боевом сайте после запуска. Разработчик закрыл сайт на время сборки, сайт открыли для клиентов, а robots.txt так и остался с полным запретом. Внешне всё работает, посетители заходят по ссылкам, но новых из поиска нет, потому что робот считает весь сайт закрытым.
Чем Disallow в robots.txt отличается от noindex?
Disallow в robots.txt запрещает обход страницы, а мета-тег noindex запрещает её показ в выдаче, и это принципиально разные задачи. Disallow экономит бюджет обхода и убирает мусор, но не гарантирует, что закрытый URL не всплывёт в поиске по внешним ссылкам.
Для надёжного удаления страницы из выдачи ставят в её код мета-тег robots со значением noindex и при этом оставляют страницу открытой для обхода. Если закрыть её и в robots.txt, и мета-тегом, робот просто не зайдёт на страницу и не увидит команду noindex, поэтому она может остаться в индексе. Это одна из самых частых логических ошибок при настройке.
Преимущества и недостатки
Robot txt запрет индексации, это простой и быстрый инструмент, но у него есть жёсткие границы применимости. Трезвое понимание, что он умеет, а что нет, экономит бизнесу и трафик, и деньги на переделках.
Сильная сторона robots.txt, это скорость и охват. Один текстовый файл в корне сайта управляет поведением всех роботов сразу, редактируется за минуту и не требует правок в коде страниц. Через него удобно убирать из обхода целые классы мусорных URL: параметры сортировки, страницы фильтров, служебные каталоги, а заодно указывать роботам карту сайта.
Недостатки такие же прямые. Файл управляет обходом, а не показом, поэтому для гарантированного скрытия конфиденциальных данных он не годится: закрытый URL всё равно может попасть в индекс по ссылке. Синтаксис не прощает ошибок, лишний слэш или неверный User-agent способны закрыть нужное или открыть лишнее. И robots.txt публичен: любой конкурент видит по адресу вашсайт.ru/robots.txt, какие разделы вы прячете, поэтому закрывать через него секретные страницы админки бессмысленно.
Самая дорогая ошибка бизнеса, это оставить на боевом сайте строку Disallow: / после разработки. Сайт выглядит рабочим, но поисковые роботы не обходят ни одной страницы, органический трафик стоит на месте, а владелец месяцами думает, что виновато SEO или подрядчик. Первое, что стоит проверить при падении трафика, это содержимое robots.txt.
Сравнение с аналогами
Robot txt запрет индексации, это не единственный способ убрать страницу из поиска, и выбор зависит от того, что именно вам нужно: сэкономить обход, скрыть страницу из выдачи или полностью закрыть доступ. Ниже сведены основные инструменты, чтобы вы понимали, какой из них решает вашу задачу.
| Инструмент | Что делает | Когда применять | Скрывает из выдачи гарантированно |
|---|---|---|---|
| robots.txt Disallow | Запрещает обход раздела роботами | Мусорные и служебные URL, экономия обхода | нет, URL может попасть по ссылке |
| Мета-тег robots noindex | Запрещает показ страницы в поиске | Точечное удаление страниц из выдачи | да, если страница открыта для обхода |
| HTTP-заголовок X-Robots-Tag | То же, что noindex, но для файлов | PDF, изображения, документы | да |
| Пароль или авторизация | Закрывает доступ к разделу целиком | Личный кабинет, закрытые данные | да |
| Удаление URL в Вебмастере | Быстро убирает страницу из выдачи | Срочное скрытие уже проиндексированного | временно, потом нужен noindex |
Из таблицы видно главное правило выбора. Нужно убрать мусор из обхода, берём robots.txt. Нужно надёжно скрыть конкретную страницу из поиска, ставим noindex и оставляем её открытой для робота. Нужно закрыть личные данные, ставим авторизацию, а не полагаемся на служебный файл, который любой может открыть.
Работает ли robots.txt одинаково в Яндексе и Google?
Базовые директивы User-agent, Disallow и Sitemap Яндекс и Google понимают одинаково, но в частностях поведение расходится. Google давно официально не поддерживает директиву Crawl-delay и Host, тогда как Яндекс их когда-то учитывал, поэтому опираться на нестандартные строки не стоит.
Главное различие в реакции на запрет. Google при наличии внешних ссылок спокойно добавляет закрытый в robots.txt URL в индекс без сниппета, о чём прямо пишет в справке. Яндекс к запрету в robots.txt относится строже, но и здесь надёжнее дублировать защиту через noindex, если задача именно убрать страницу из выдачи, а не только из обхода.
Примеры использования
Robot txt запрет индексации выглядит по-разному в зависимости от типа сайта, и одна и та же логика даёт разные наборы правил. По практике проектов покажем типовые сценарии без выдуманных цифр, чтобы вы могли примерить их на свой случай.
Для интернет-магазина под запрет уходит основной объём служебных URL: корзина, оформление заказа, сравнение товаров, страницы фильтров и сортировок с параметрами в адресе. Такие URL плодят дубли и распыляют бюджет обхода, поэтому их закрывают строками вида Disallow: /cart/ и Disallow: с указанием параметра. При этом карточки товаров и категории остаются полностью открытыми, ведь именно они приводят покупателей.
Для сайта услуг с несколькими десятками страниц robots.txt проще: закрывают внутренний поиск, служебные скрипты движка и страницы благодарности после заявки. Здесь важнее не переусердствовать, потому что каждая страница услуги на счету, и лишняя строка Disallow способна выронить из поиска целое направление.
Отдельный честный сюжет, который повторяется из проекта в проект. Бизнес переезжает на новый дизайн, разработчик на время сборки закрывает сайт полностью через Disallow: / чтобы черновик не попал в поиск. Сайт запускают, все радуются новой версии, а про robots.txt забывают. Через два-три месяца владелец замечает, что заявок из поиска почти нет, грешит на алгоритмы и подрядчика, а причина в одной строке, которую забыли убрать. Если разбираетесь с технической частью самостоятельно, пригодятся материалы про robots txt и как настроить robots txt, а также разбор того, как правильно закрыть сайт от индексации robots txt без потери нужных страниц.
Частые вопросы
Что такое запрет индексации в robots.txt простыми словами?
Запрет индексации в robots.txt, это правило в служебном файле, которое просит поисковых роботов не обходить указанные страницы сайта. Оно помогает убрать из поиска технический мусор вроде корзины и личного кабинета, но не гарантирует, что закрытый URL никогда не всплывёт в выдаче по внешним ссылкам.
Как закрыть весь сайт от индексации через robots.txt?
Чтобы закрыть весь сайт, добавьте две строки: User-agent со звёздочкой и Disallow с одним слэшем. Такой файл запрещает роботам обход всех страниц и применяется только на время разработки или для тестового домена, а на боевом сайте эти строки обязательно убирают после запуска.
Почему страница закрыта в robots.txt, но всё равно в поиске?
Robots.txt запрещает обход, а не показ, поэтому Google может добавить закрытую страницу в индекс по внешним ссылкам, показав один URL без текста. Чтобы страница гарантированно ушла из выдачи, поставьте в её код мета-тег robots со значением noindex и при этом оставьте страницу открытой для обхода.
Чем отличается Disallow от noindex?
Disallow в robots.txt запрещает роботу заходить на страницу, а noindex в коде страницы запрещает её показ в поиске. Для удаления страницы из выдачи нужен именно noindex, при этом закрывать её ещё и в robots.txt нельзя, иначе робот не зайдёт и не увидит команду noindex.
Как проверить, что robots.txt настроен правильно?
Откройте адрес вашсайт.ru/robots.txt в браузере и прогоните файл через инструмент проверки в Яндекс Вебмастере и Google Search Console. Эти сервисы покажут, какие URL закрыты, а какие доступны, и помогут поймать случайный запрет важных разделов до того, как он навредит трафику.
Опасно ли самому редактировать robots.txt?
Редактировать robots.txt можно самому, но осторожно, потому что одна ошибочная строка способна закрыть весь сайт или, наоборот, открыть служебные разделы. Перед сохранением проверьте, что нет одинокой строки Disallow со слэшем, а после правки убедитесь через панели вебмастеров, что нужные страницы остались в индексе.
Выводы
Robot txt запрет индексации, это не магическая настройка для роста трафика, а инструмент гигиены сайта: он убирает из обхода мусор и помогает поисковику сосредоточиться на страницах, которые приносят заявки. Работает он с обходом, а не с показом, поэтому для надёжного скрытия страницы из выдачи нужен мета-тег noindex, а для защиты личных данных, авторизация.
Главное при работе с этим файлом, не навредить. Проверяйте текущее содержимое перед правкой, не оставляйте на боевом сайте полный запрет после разработки и сверяйте результат через Яндекс Вебмастер и Google Search Console. Тогда robots.txt становится тихим помощником, а не скрытой причиной, по которой сайт годами недополучает клиентов из поиска.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.