Закрывающий robots txt, это файл robots.txt с директивой Disallow, которая запрещает поисковым роботам сканировать сайт целиком или его отдельные разделы. Такой файл нужен, когда страница не должна попасть в выдачу Яндекса и Google, например тестовая версия, служебные разделы или сайт на этапе разработки.
Мы в lucky-seo продвигаем сайты бизнеса и регулярно находим у новых заказчиков одну и ту же дорогую ошибку: сайт закрыт от индексации закрывающим robots.txt, о котором давно забыли после разработки, а владелец месяцами не понимает, почему нет трафика. Разберём, что это за файл, как он работает, когда его действительно нужно ставить и как не отрезать себя от клиентов по невнимательности. Всё с примерами и пошаговой инструкцией.
Что такое закрывающий robots txt и зачем это нужно
Закрывающий robots txt (blocking robots.txt), это текстовый файл в корне сайта, который говорит поисковым роботам «сюда не ходи, это не индексируй». Он лежит по адресу вида ваш-сайт.ру/robots.txt и содержит правила для роботов: какие разделы можно сканировать, а какие закрыты.
Бизнесу такой файл нужен не для того, чтобы прятаться от клиентов, а чтобы держать в чистоте поисковую выдачу. В индекс не должны попадать корзина, личный кабинет, страницы оплаты, результаты внутреннего поиска, тестовые копии и админка. Когда мусорные страницы уходят из выдачи, поисковик лучше понимает, о чём сайт, и точнее показывает нужные страницы покупателям.
Отличайте полное закрытие от частичного. Полный закрывающий robots.txt прячет от роботов весь сайт целиком, это уместно только на время разработки. Частичный закрывает отдельные разделы, а рабочие страницы с товарами и услугами оставляет открытыми для индексации. Для живого коммерческого сайта нужен именно частичный вариант, полное закрытие на проде равно отсутствию клиентов из поиска.
Пошаговая инструкция по использованию
Настройка закрывающего robots txt, это не «залил файл и забыл», а осознанная работа: сначала решаете, что именно прячете, потом пишете правила и обязательно проверяете результат. По нашему опыту продвижения половина проблем с индексацией лечится именно аккуратной проверкой этого файла.
- Откройте адрес ваш-сайт.ру/robots.txt в браузере и посмотрите, что там уже написано.
- Найдите строку Disallow: / без дополнительных символов, это признак полностью закрытого сайта.
- Составьте список разделов, которые реально нужно спрятать: корзина, личный кабинет, оплата, админка, тестовые копии.
- Пропишите правило User-agent: * первой строкой, оно относится ко всем роботам сразу.
- Добавьте отдельные строки Disallow для каждого закрываемого раздела, например Disallow: /cart/ и Disallow: /admin/.
- Оставьте рабочие разделы открытыми, не закрывайте страницы товаров, услуг и статей, которые должны приводить клиентов.
- Укажите адрес карты сайта строкой Sitemap: https://ваш-сайт.ру/sitemap.xml, чтобы роботы быстрее находили нужные страницы.
- Сохраните файл и загрузите его в корень сайта, он должен открываться по прямому адресу /robots.txt.
- Проверьте результат в Яндекс Вебмастере и Google Search Console через инструмент проверки robots.txt.
После публикации не бросайте файл насовсем. При запуске новых разделов сайта возвращайтесь к robots.txt и решайте, открывать их для поиска или прятать.
Перед тем как выкатить сайт с этапа разработки на боевой домен, первым делом откройте robots.txt и уберите строку Disallow: / полностью. Именно она чаще всего остаётся с тестового периода и тихо держит новый сайт вне поиска неделями, пока владелец гадает, куда делись заявки.
Как правильно составить закрывающий robots txt?
Правильный закрывающий robots txt начинается со строки User-agent, за ней идут правила Disallow для закрытых разделов и строка Sitemap с адресом карты сайта. Директива User-agent: * означает, что правила действуют на всех роботов, а если нужно задать особые правила для робота Яндекса или Google, указывают его имя отдельным блоком.
Синтаксис простой, но чувствительный к деталям. Каждое правило пишется с новой строки, пути указываются от корня сайта со слэшем, регистр в адресах имеет значение. Пустая строка разделяет блоки правил для разных роботов. Одна лишняя косая черта может закрыть больше, чем вы планировали, поэтому после правок всегда прогоняйте файл через инструмент проверки.
Как закрыть весь сайт от индексации?
Чтобы закрыть весь сайт целиком, в robots.txt пишут две строки: User-agent: * и Disallow: / без указания конкретного раздела. Слэш после Disallow без продолжения означает «запретить сканирование всего сайта от корня».
Такой вариант оправдан только на тестовом домене или на время разработки, пока сайт не готов к приёму посетителей. Как только сайт выходит на боевой адрес и должен приводить клиентов, полное закрытие снимают, иначе поиск его просто не покажет. Держать боевой сайт под Disallow: / равно платить за разработку и добровольно отказываться от бесплатного трафика.
Преимущества и недостатки
Закрывающий robots txt удобен как быстрый способ убрать лишнее из зоны сканирования, но у него есть важное ограничение, о котором забывают даже опытные разработчики. Разберём честно, где он помогает, а где создаёт ложное чувство безопасности.
Плюсы очевидны. Файл экономит краулинговый бюджет (crawl budget), то есть ресурс, который поисковик тратит на обход сайта: робот не тратит время на служебные страницы и быстрее доходит до важных. Он держит выдачу чистой, убирая из неё дубли и технический мусор. Настраивается за минуты, не требует программиста и работает на любом сайте, где есть доступ к корневой папке.
Минусы серьёзнее, чем кажется. Robots.txt, это рекомендация, а не запрет: добросовестные роботы Яндекса и Google её слушаются, но файл не защищает страницу от посторонних глаз и не гарантирует, что закрытая страница не попадёт в индекс по внешним ссылкам. Для настоящего сокрытия конфиденциальных данных robots.txt не годится вообще, для этого нужны пароль и настройки сервера.
Закрытие страницы в robots.txt и удаление её из индекса, это разные вещи. Если страница уже проиндексирована, а вы просто добавили Disallow, робот перестанет её сканировать, но она может остаться в выдаче как «страница закрыта в robots.txt». Чтобы убрать страницу из поиска наверняка, используют метатег noindex на самой странице, а не только запрет в robots.txt. Мы регулярно видим, как бизнес закрывает раздел в robots.txt, удивляется, что он всё ещё в выдаче, и не понимает, где ошибка.
Сравнение с аналогами
Закрывающий robots txt, это не единственный способ убрать страницу из поиска, и для разных задач подходят разные инструменты. Ниже сведены основные методы, чтобы вы выбирали не наугад, а под конкретную цель.
| Метод | Что делает | Когда применять | Убирает из индекса |
|---|---|---|---|
| robots.txt Disallow | запрещает сканирование раздела | скрыть служебные разделы, экономить краулинг | не всегда, только запрещает обход |
| Метатег noindex | запрещает добавление страницы в индекс | убрать конкретную страницу из выдачи | да, надёжно |
| HTTP-заголовок X-Robots-Tag | то же, что noindex, но для файлов | закрыть PDF, картинки, документы | да |
| Пароль или закрытие на сервере | блокирует доступ к странице полностью | защита конфиденциальных данных | да, страница недоступна вовсе |
| Canonical | указывает главную версию из дублей | склеить похожие страницы | нет, объединяет вес |
Правило выбора простое. Нужно спрятать служебный раздел и сэкономить обход, ставьте Disallow в robots.txt. Нужно гарантированно убрать страницу из выдачи, применяйте метатег noindex. Нужно защитить данные от чужих глаз, закрывайте доступ паролем на уровне сервера, потому что robots.txt тут бесполезен.
Чем robots txt отличается от метатега noindex?
Robots.txt запрещает роботу сканировать страницу, а метатег noindex запрещает добавлять её в индекс, и это принципиальная разница. Если закрыть страницу в robots.txt, робот до неё не дойдёт и не увидит метатег noindex внутри, поэтому страница может остаться в выдаче по внешним ссылкам.
Отсюда частая ловушка: чтобы точно убрать страницу из поиска через noindex, её нужно оставить открытой для сканирования в robots.txt, иначе робот просто не прочитает указание. Для полного удаления сначала дают роботу увидеть noindex, а Disallow добавляют позже, когда страница уже выпала из индекса.
Примеры использования
Закрывающий robots txt выглядит по-разному в зависимости от типа сайта, и одна и та же логика даёт разные акценты. По практике проектов покажем типовые сценарии без выдуманных данных.
Для интернет-магазина закрывают технические разделы: корзину, оформление заказа, личный кабинет, страницы сравнения и результаты внутреннего поиска. Эти страницы не приводят клиентов из поиска, зато плодят дубли и съедают краулинговый бюджет. Карточки товаров и категории при этом остаются открытыми, потому что именно они собирают трафик покупателей.
Для сайта на этапе разработки ставят полное закрытие через User-agent: * и Disallow: /, чтобы недоделанная версия не попала в выдачу и не испортила репутацию домена в глазах поисковика. Ключевой момент, снять это закрытие сразу после запуска боевой версии. Именно здесь бизнес теряет больше всего: разработчик сдал сайт, забыл открыть robots.txt, и месяцы работы висят в интернете невидимыми для клиентов.
Для корпоративного сайта или блога закрывают служебные папки движка, страницы авторизации, теги и архивы, которые создают дубли контента. Открытыми оставляют статьи, услуги и посадочные страницы. Если хотите глубже разобраться в устройстве файла, пригодятся материалы про robots txt и подробный разбор того, как настроить robots txt под конкретную задачу.
Отдельный честный сюжет из практики. Компания заказала переезд на новый сайт, разработчик закрыл его от индексации на время сборки, всё логично. Через полгода владелец пришёл с вопросом, почему заявок стало вдвое меньше при том же рекламном бюджете. Причина оказалась в одной строке: закрытый robots txt с боевого домена никто не снял после запуска. Ирония в том, что чинится это за пять минут, а стоило полгода упущенных клиентов.
Частые вопросы
Что такое закрывающий robots txt простыми словами?
Закрывающий robots txt, это файл в корне сайта, который просит поисковых роботов не сканировать сайт целиком или его отдельные разделы. Его используют, чтобы спрятать от поиска служебные страницы, тестовые версии и технический мусор, оставив в выдаче только полезные для клиентов страницы.
Как понять, что мой сайт случайно закрыт от индексации?
Откройте адрес ваш-сайт.ру/robots.txt в браузере и найдите строку Disallow: / без указания раздела: она означает, что весь сайт закрыт от поиска. Дополнительно проверьте статус индексации в Яндекс Вебмастере и Google Search Console, они прямо сообщают, если страницы недоступны для робота.
Robots txt точно уберёт страницу из выдачи?
Нет, robots.txt только запрещает сканирование, но не гарантирует удаление из индекса. Если страница уже в выдаче или на неё ведут внешние ссылки, она может остаться в поиске, поэтому для надёжного удаления применяют метатег noindex на самой странице.
Можно ли закрыть сайт от одной поисковой системы, а другой оставить открытым?
Да, для этого в robots.txt задают отдельный блок с именем нужного робота, например User-agent: Yandex или User-agent: Googlebot, и прописывают для него свои правила Disallow. Так один поисковик получит одни указания, а второй другие, но на практике бизнесу это нужно редко.
Нужен ли robots txt маленькому сайту из нескольких страниц?
Даже небольшому сайту robots.txt полезен, чтобы закрыть служебные страницы и указать адрес карты сайта для ускорения индексации. Отсутствие файла не критично, но его наличие помогает поисковику быстрее и точнее понять структуру сайта.
Где лежит robots txt и как его отредактировать?
Файл robots.txt лежит в корневой папке сайта и открывается по прямому адресу ваш-сайт.ру/robots.txt. Отредактировать его можно через файловый менеджер хостинга, по FTP или в панели управления CMS, а после правок файл обязательно проверяют в инструментах Яндекса и Google.
Выводы
Закрывающий robots txt, это простой, но обоюдоострый инструмент: он аккуратно убирает из поиска служебный мусор, но при неосторожном обращении отрезает от клиентов весь сайт. Для боевого коммерческого сайта нужен частичный вариант, который прячет корзину, админку и дубли, а страницы товаров и услуг держит открытыми. Полное закрытие через Disallow: / оправдано только на время разработки и снимается сразу после запуска.
Главное правило при работе с файлом, не путать запрет сканирования с удалением из индекса и всегда проверять результат в Яндекс Вебмастере и Google Search Console. Для гарантированного удаления страницы из выдачи применяют метатег noindex, а не только robots.txt. Если после запуска нового сайта пропали заявки, начните проверку именно с этого файла: одна забытая строка обходится бизнесу дороже любых рекламных экспериментов.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.