Закрытый robots txt, это файл robots.txt с директивами, которые запрещают поисковым роботам обходить и индексировать весь сайт или его отдельные разделы. Такой файл нужен на время разработки, на тестовых версиях и для служебных страниц, но забытый на боевом сайте закрытый robots txt способен полностью выкинуть проект из выдачи и обнулить поток заявок.
Мы в lucky-seo продвигаем сайты бизнеса и регулярно чиним ситуации, когда владелец не понимает, почему сайт вдруг пропал из Яндекса и Google. В доброй половине случаев корень один: закрытый robots.txt, оставшийся после переезда или разработки. Разберём по шагам, что это за файл, как им пользоваться, где он спасает, а где топит бизнес.
Что такое закрытый robots txt и зачем это нужно
Закрытый robots txt (closed robots.txt), это текстовый файл в корне сайта, где директива Disallow запрещает поисковым роботам обход указанных страниц или всего ресурса целиком. Роботы Яндекса и Google перед обходом сначала читают этот файл и подчиняются его правилам, поэтому один короткий блок текста управляет тем, какие страницы попадут в поиск.
Полностью закрыть сайт от индексации нужно в нескольких понятных случаях. Пока идёт разработка, вы не хотите, чтобы недоделанный сайт с рыбным текстом попал в выдачу и испортил первое впечатление. Тестовые и промежуточные копии сайта закрывают, чтобы поисковик не счёл их дублями основного домена. Служебные разделы вроде админки, корзины и страниц оплаты закрывают, потому что им нечего делать в поиске.
Бизнесу важно понимать обратную сторону. Инструмент, который спасает на этапе разработки, превращается в мину замедленного действия при запуске. Если файл забыли открыть перед выкаткой на боевой домен, сайт останется невидимым для клиентов, а деньги на дизайн, тексты и рекламу будут работать вхолостую.
Как robots txt запрещает индексирование: разбор директив
Директива, которая запрещает индексирование через robots.txt, называется Disallow, а адресуется она конкретному роботу через User-agent. Комбинация этих двух строк и решает, что закрыто, а что открыто для поиска.
Чтобы robots txt запретить индексирование всего сайта для всех поисковиков, используют звёздочку в User-agent и слэш в Disallow. Это самый жёсткий вариант, который закрывает от обхода абсолютно все страницы домена.
Разберём базовый синтаксис на понятных примерах.
- User-agent: * означает, что правило действует для всех роботов сразу.
- User-agent: Yandex адресует правило только роботу Яндекса.
- User-agent: Googlebot адресует правило только роботу Google.
- Disallow: / закрывает от обхода весь сайт целиком.
- Disallow: /admin/ закрывает конкретную папку и всё, что внутри неё.
- Allow: / разрешает обход и отменяет запрет для указанного пути.
Чтобы полностью robots закрыть сайт индексации, в файл пишут две строки: User-agent со звёздочкой и Disallow со слэшем. После загрузки такого файла в корень сайта роботы перестают обходить страницы при следующем визите. Подробный разбор структуры файла и всех директив мы собрали в отдельном материале про robots txt.
Robots.txt управляет обходом (crawling), но не всегда гарантирует отсутствие страницы в выдаче. Если на закрытую страницу ведут внешние ссылки, поисковик иногда показывает её в результатах без описания. Чтобы наверняка убрать страницу из поиска, к запрету в robots.txt добавляют мета-тег noindex или закрытие через HTTP-заголовок, а не полагаются только на один файл.
Пошаговая инструкция по использованию
Закрыть сайт через robots.txt, это управляемая процедура из нескольких шагов, а не одна строчка вслепую. По нашему опыту продвижения именно нарушение порядка приводит к тому, что бизнес случайно закрывает лишнее или, наоборот, оставляет открытым то, что должно быть скрыто.
- Откройте файл robots.txt в корне сайта или создайте новый текстовый файл с этим именем.
- Пропишите строку User-agent и укажите, для какого робота действует правило: звёздочка для всех, Yandex или Googlebot для конкретного.
- Добавьте строку Disallow и укажите путь: слэш для закрытия всего сайта или конкретную папку для частичного запрета.
- При необходимости добавьте строку Allow, чтобы открыть отдельные страницы внутри закрытого раздела.
- Сохраните файл в кодировке UTF-8 без лишних пробелов в начале строк.
- Загрузите robots.txt в корневую папку сайта, чтобы он открывался по адресу вашдомен/robots.txt.
- Проверьте файл в Яндекс Вебмастере и Google Search Console через инструмент проверки robots.txt.
- Убедитесь, что закрыты именно нужные страницы, а важные коммерческие разделы остались открытыми.
Этот порядок одинаков и для интернет-магазина, и для сайта услуг. Меняется только список путей в Disallow, но логика «сначала задаём робота, потом путь, потом проверяем результат» не зависит от типа проекта. Общие правила настройки файла для разных задач мы разобрали в гайде как настроить robots txt.
Заведите привычку проверять robots.txt каждый раз после переезда сайта, смены хостинга или выкатки новой версии. Именно в эти моменты чаще всего на боевой домен уезжает файл с тестового сервера, где стоял полный запрет индексации. Одна проверка после релиза экономит месяцы потерянного трафика.
Преимущества и недостатки
Закрытый robots txt даёт точный контроль над тем, что видит поисковик, но при неаккуратном использовании легко превращается из помощника во вредителя. Трезвый взгляд на плюсы и минусы помогает понять, где файл уместен, а где нужен другой инструмент.
Сильная сторона robots.txt, это простота и скорость. Один текстовый файл управляет обходом всего сайта, редактируется за минуту и не требует программиста. Он экономит краулинговый бюджет (crawl budget): робот не тратит визиты на мусорные и служебные страницы, а сосредотачивается на коммерчески важных разделах. Для крупного интернет-магазина с тысячами страниц это ощутимо ускоряет индексацию нужного.
Недостатки тоже честные и важные для бизнеса. Robots.txt носит рекомендательный характер: добросовестные роботы Яндекса и Google его соблюдают, но некоторые парсеры и агрессивные боты игнорируют. Файл управляет обходом, а не показом в выдаче, поэтому закрытая страница при наличии внешних ссылок иногда всё равно всплывает в поиске. И главная опасность для владельца: одна лишняя строка Disallow со слэшем способна закрыть весь сайт целиком и обрушить поток заявок.
Самая дорогая ошибка бизнеса с этим файлом, оставить полный запрет индексации на боевом сайте после запуска. Сценарий типовой: разработчик закрыл сайт на время сборки, проект выкатили в прод, а строку Disallow убрать забыли. Пару недель никто не замечает, потом сайт исчезает из выдачи, заявки падают до нуля, а владелец винит в этом SEO-подрядчика, хотя причина в одном забытом слэше.
Сравнение с аналогами: чем закрыть страницу от поиска
Robots.txt, это не единственный способ скрыть страницу от поисковика, и у каждого метода своя зона применения. Ошибка в выборе инструмента приводит либо к тому, что закрытое всё равно индексируется, либо к тому, что важное случайно выпадает из поиска.
| Способ закрытия | Что делает | Когда применять | Убирает из выдачи наверняка |
|---|---|---|---|
| robots.txt Disallow | запрещает обход страницы роботом | служебные разделы, тестовые копии, экономия краулингового бюджета | нет, страница может остаться при внешних ссылках |
| мета-тег noindex | запрещает добавлять страницу в индекс | отдельные страницы, которые нужно убрать из поиска | да, если робот может её обойти и прочитать тег |
| HTTP-заголовок X-Robots-Tag | запрещает индексацию на уровне сервера | файлы без HTML (PDF, изображения) и массовые правила | да, работает для любых типов файлов |
| Пароль или закрытие доступа | физически не пускает робота на страницу | закрытые разделы, личные кабинеты, стейджинг | да, робот вообще не видит содержимое |
Из таблицы видно главное правило выбора. Нужно скрыть служебное и разгрузить робота, работает robots.txt. Нужно гарантированно убрать конкретную страницу из выдачи, ставят noindex и при этом оставляют страницу открытой для обхода, иначе робот просто не увидит тег запрета. Хотите наглухо закрыть тестовую версию, ставьте пароль на весь стейджинг, а не полагайтесь на один файл.
Почему нельзя закрыть страницу в robots.txt и одновременно ставить noindex?
Закрывать страницу в robots.txt и одновременно вешать на неё мета-тег noindex, это распространённая ошибка, которая ломает оба инструмента. Логика простая: если robots.txt запретил обход, робот не заходит на страницу и физически не видит тег noindex в её коде.
В итоге страница остаётся в подвешенном состоянии: обход запрещён, но и команду на удаление из индекса поисковик не прочитал. Чтобы noindex сработал, страницу нужно оставить открытой для обхода в robots.txt, дать роботу её прочитать и только тогда он выполнит запрет на индексацию. Нюансы закрывающих директив мы подробно разобрали в статье про закрывающий robots txt.
Как проверить, что сайт действительно закрыт или открыт?
Проверить статус индексации проще всего через панели вебмастеров: в Яндекс Вебмастере и Google Search Console есть инструмент анализа robots.txt, который показывает, какие страницы закрыты, а какие доступны роботу. Достаточно вставить нужный адрес и увидеть вердикт: разрешён обход или запрещён.
Второй быстрый способ, открыть файл вручную по адресу вашдомен/robots.txt и глазами проверить строки Disallow. Если там стоит Disallow: / под User-agent: *, значит закрыт весь сайт. Для боевого проекта такой строки быть не должно, если только вы сознательно не убираете весь домен из поиска.
Примеры использования
Закрытый robots txt выглядит по-разному в зависимости от задачи, и одни и те же директивы решают разные проблемы бизнеса. Покажем типовые сценарии на практике, чтобы вы видели, где полный запрет уместен, а где нужен точечный.
Первый сценарий, разработка нового сайта. Пока дизайнер и программист собирают проект, файл содержит полный запрет для всех роботов, чтобы сырая версия не попала в выдачу. Перед запуском этот запрет обязательно снимают, иначе готовый сайт останется невидимым для клиентов.
Второй сценарий, тестовая копия рядом с боевым сайтом. Стейджинг и промежуточные версии закрывают полностью, чтобы поисковик не проиндексировал их как дубли основного домена и не размыл позиции. Здесь полный запрет в robots.txt дополняют паролем на доступ, потому что для тестового окружения важна и невидимость в поиске, и закрытость от посторонних глаз.
Третий сценарий, боевой сайт с частичным закрытием. Здесь весь сайт открыт для индексации, а Disallow закрывает только служебное: админку, корзину, страницы оформления заказа, результаты внутреннего поиска и технические параметры в адресах. Так робот не тратит визиты на мусор и быстрее доходит до коммерческих страниц. Базовые определения и назначение файла мы собрали в материале robots txt что это.
Отдельный честный сюжет из практики. Бизнес часто приходит с жалобой «сайт был в топе, а теперь пропал, наверное поисковик наказал». Открываем robots.txt и видим Disallow: / после недавнего переезда на новый хостинг. Никакого фильтра нет, просто вместе с файлами переехал закрытый robots.txt со старого тестового сервера. Убираем запрет, ждём переобхода, сайт возвращается. Ирония в том, что самая пугающая для владельца ситуация лечится удалением одной строки.
Частые вопросы
Что такое закрытый robots txt простыми словами?
Закрытый robots txt, это файл robots.txt, в котором директива Disallow запрещает поисковым роботам обходить весь сайт или отдельные страницы. Его используют на время разработки и для служебных разделов, но на боевом сайте забытый полный запрет делает проект невидимым в Яндексе и Google.
Как в robots txt запретить индексирование всего сайта?
Чтобы запретить индексирование всего сайта, в robots.txt пишут две строки: User-agent: * и Disallow: / без указания конкретного пути. Первая строка адресует правило всем роботам, вторая закрывает от обхода весь домен целиком. После загрузки такого файла в корень сайта роботы перестают обходить страницы при следующем визите.
Гарантирует ли robots txt, что страница исчезнет из поиска?
Нет, robots.txt управляет обходом, но не гарантирует удаления страницы из выдачи. Если на закрытую страницу ведут внешние ссылки, поисковик иногда показывает её в результатах без описания. Чтобы наверняка убрать страницу из поиска, добавляют мета-тег noindex или закрытие через HTTP-заголовок и оставляют страницу открытой для обхода.
Почему сайт пропал из выдачи после переезда?
Частая причина исчезновения сайта после переезда, это закрытый robots.txt, который переехал вместе с файлами со старого тестового сервера. В нём остаётся строка Disallow: / для всех роботов, из-за чего поисковик перестаёт обходить страницы. Решение простое: убрать полный запрет из файла и дождаться переобхода сайта роботами.
Как проверить, закрыт сайт от индексации или нет?
Проще всего открыть файл по адресу вашдомен/robots.txt и посмотреть строки Disallow: если под User-agent: * стоит Disallow: /, значит закрыт весь сайт. Для точной проверки используют инструмент анализа robots.txt в Яндекс Вебмастере и Google Search Console: он показывает по конкретному адресу, разрешён обход или запрещён.
Выводы
Закрытый robots txt, это рабочий инструмент, а не проклятие: он спасает на этапе разработки, прячет служебные разделы и экономит роботу время на коммерчески важных страницах. Опасен он только в одном случае, когда полный запрет по невнимательности остаётся на боевом сайте после запуска или переезда. Тогда самый дорогой в разработке проект становится невидимым для клиентов из-за одной строки Disallow.
Главное правило для бизнеса простое. Полный запрет держите только на тестовых и недоделанных версиях, а на боевом сайте закрывайте точечно и всегда проверяйте файл после релиза и переезда. Если сайт внезапно пропал из поиска, первым делом откройте robots.txt: в большинстве случаев причина именно там, а лечится она удалением лишней строки, а не паникой про фильтры поисковика.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.