Закрыть от индексации сайт: зачем это нужно бизнесу и как сделать без потери позиций

Закрыть от индексации сайт, это дать поисковым системам команду не добавлять страницы в поиск, чтобы их не находили пользователи Яндекса и Google. Делают это через файл robots.txt, метатег robots, HTTP-заголовок X-Robots-Tag или пароль на уровне сервера, и способ выбирают под конкретную задачу: спрятать весь сайт, отдельную страницу или один блок.

Мы в lucky-seo продвигаем сайты бизнеса и регулярно чиним последствия одной ошибки: технический сайт или новую версию закрыли на разработке, а потом забыли открыть, и живой проект месяцами не растёт в поиске. Эта статья разбирает, как закрыть сайт от индексации правильно и обратимо, чем сканирование отличается от индексации и как потом проверить результат. Разберём каждый способ на примерах, чтобы вы не потеряли трафик и заявки на ровном месте.

Что такое закрыть от индексации сайт и зачем это нужно

Закрыть от индексации сайт означает запретить поисковым роботам показывать его страницы в результатах поиска. Сама страница остаётся в интернете и открывается по прямой ссылке, но по запросам в Яндексе и Google её уже не найдут, потому что робот получил команду не включать её в базу выдачи.

Бизнесу это нужно чаще, чем кажется. Тестовая версия сайта, админка, страницы корзины и оформления заказа, дубли с параметрами фильтров, служебные разделы, PDF с прайсом для менеджеров, все они засоряют выдачу и размывают релевантность. Когда в поиск попадает мусор, поисковик хуже понимает, о чём сайт, а это бьёт по позициям коммерческих страниц, которые приводят клиентов.

Есть и оборотная сторона медали: закрыть от индексации проще, чем потом вернуть. Робот сначала должен снова обойти страницу, увидеть снятый запрет и переоценить её, а это занимает от нескольких дней до нескольких недель. Поэтому закрытие всегда планируют заранее и снимают запрет сразу после переезда или запуска.

Чем сканирование отличается от индексации

Сканирование (crawling), это обход страниц роботом, а индексация (indexing), это добавление их содержимого в базу поиска. Разница принципиальная, потому что от неё зависит, какой инструмент сработает в вашей задаче, а какой создаст новую проблему.

При сканировании робот заходит на страницу, читает код и ссылки, но ещё не решает, показывать её в выдаче или нет. Индексация, это следующий шаг: робот кладёт содержимое в базу и начинает отдавать страницу по запросам. Файл robots.txt управляет именно сканированием, он говорит роботу «сюда не ходи». Метатег robots и заголовок X-Robots-Tag управляют индексацией, они говорят «зайти можешь, но в поиск не добавляй».

Отсюда частая ловушка. Если закрыть страницу в robots.txt, робот на неё не зайдёт и не увидит на ней метатег noindex. В результате страница, на которую ведут внешние ссылки, всё равно может попасть в выдачу без описания, с пометкой, что содержимое недоступно. Чтобы гарантированно убрать страницу из поиска, её оставляют открытой для сканирования, но закрывают метатегом noindex.

Как запретить сканирование сайта через robots.txt

Запретить сканирование всего сайта можно директивой Disallow в файле robots.txt, который лежит в корне домена и доступен по адресу site.ru/robots.txt. Это самый быстрый способ увести проект с радаров поисковиков, и его чаще всего используют на этапе разработки.

Файл читается сверху вниз: сначала указывают, к какому роботу обращаются через User-agent, затем что именно запрещают через Disallow. Директива со слэшем закрывает от обхода вообще все страницы домена. Важно помнить, что robots.txt носит рекомендательный характер: добросовестные роботы Яндекса и Google его соблюдают, но он не защищает страницу от прямого открытия по ссылке и не даёт стопроцентной гарантии, что закрытый адрес не всплывёт в выдаче.

Как закрыть сайт от индексации полностью?

Чтобы закрыть весь сайт, добавьте в robots.txt блок с обращением ко всем роботам и запретом на весь каталог. Разместите файл в корне домена и проверьте, что он открывается в браузере.

User-agent: *
Disallow: /

Этот код запрещает обход всех страниц всем роботам. Для точечной настройки под конкретную систему вместо звёздочки указывают имя робота, например Yandex или Googlebot. После загрузки файла проверьте его в панели вебмастера, чтобы убедиться, что синтаксис корректный и запрет применился.

Закрытие страницы от сканирования в robots.txt

Закрыть от индексации одну страницу или раздел в robots.txt можно, указав в директиве Disallow путь к нужному адресу вместо слэша. Так поступают со служебными разделами, которые не должны тратить ресурс робота: корзина, личный кабинет, страницы поиска по сайту, результаты фильтрации.

Путь указывают относительно корня домена. Строка с адресом корзины закроет именно её, а строка с папкой закроет все страницы внутри этой папки. Можно комбинировать несколько запретов подряд для разных разделов в одном блоке User-agent.

Как закрыть страницу от индексации в robots.txt?

Добавьте в robots.txt директиву Disallow с точным путём к странице или папке, которую нужно скрыть от обхода. Проверьте адрес: он должен совпадать с реальным URL без имени домена.

User-agent: *
Disallow: /korzina/
Disallow: /lichnyy-kabinet/
Disallow: /search/

Помните оговорку из раздела про разницу сканирования и индексации: если на закрытую страницу ведут внешние ссылки, для гарантированного удаления из поиска лучше использовать метатег noindex, а не только robots.txt. Файл robots.txt хорошо экономит краулинговый бюджет, но не заменяет прямой запрет индексации.

Закрытие от индексации Яндекс и Google всей страницы

Закрыть страницу от индексации в Яндексе и Google надёжнее всего метатегом robots со значением noindex, который прописывают в HTML-код страницы внутри тега head. В отличие от robots.txt, этот способ даёт роботу прямую команду не добавлять страницу в поиск, и он работает надёжнее, потому что не зависит от внешних ссылок.

Метатег читается роботом при заходе на страницу, поэтому страница должна оставаться открытой для сканирования. Значение noindex запрещает индексацию, а дополнительное nofollow запрещает переходить по ссылкам с этой страницы. Для полного скрытия обычно используют комбинацию обоих значений.

html
<meta name="robots" content="noindex, nofollow">

Этот тег помещают в секцию head каждой страницы, которую нужно убрать из поиска. Яндекс и Google понимают общее имя robots, но при необходимости можно обратиться к конкретному роботу, заменив robots на yandex или googlebot. После установки тега страница постепенно выпадет из выдачи при следующих обходах.

Закрыть сайт с помощью серверного файла htaccess

Закрыть сайт от индексации на уровне сервера можно через файл htaccess, добавив HTTP-заголовок X-Robots-Tag или защитив каталог паролем. Этот способ работает даже для файлов, у которых нет HTML-кода, например для PDF, изображений и архивов, куда метатег robots не вставишь.

Файл htaccess лежит в корне сайта на серверах с Apache и управляет поведением сервера. Заголовок X-Robots-Tag передаёт роботу ту же команду noindex, но на уровне ответа сервера, а не внутри страницы. Второй вариант, парольная защита раздела, полностью закрывает доступ и роботам, и посторонним людям, это самый жёсткий способ спрятать тестовую версию.

Header set X-Robots-Tag "noindex, nofollow"

Строка выше запрещает индексацию всех файлов, к которым применяется этот htaccess. Настройку через серверный файл стоит доверить разработчику или подрядчику, потому что ошибка в синтаксисе htaccess может уронить весь сайт с ошибкой сервера, а не просто закрыть его от поиска.

Скрываем только часть или определённый блок на странице

Скрыть от индексации отдельный блок на странице, оставив саму страницу в поиске, штатными средствами Google напрямую нельзя, но частичные решения есть. Полностью гибкого метатега для куска текста в актуальных алгоритмах не существует, поэтому задачу решают обходными путями.

Раньше в Яндексе для этого применяли тег noindex, оборачивая им ненужный фрагмент, но его поддержка нестабильна и на Google он не действует. Более надёжный приём, выносить служебный контент в отдельный файл и подгружать его так, чтобы робот не считал его частью основного текста, либо закрывать ссылки атрибутом rel nofollow. Если блок повторяется на многих страницах и создаёт дубли, чаще выгоднее пересобрать шаблон, чем прятать текст.

Как закрыть от индексации ссылку, а не всю страницу?

Закрыть отдельную ссылку от передачи веса можно атрибутом rel nofollow прямо в теге ссылки. Так поступают с рекламными и партнёрскими ссылками, а также ссылками на страницы, которым не нужен вес.

Атрибут добавляют внутрь тега a, и робот перестаёт учитывать эту ссылку при передаче ссылочного веса. Это не убирает саму страницу из поиска, а лишь управляет тем, как распределяется авторитет между разделами сайта.

Скрыть от индексирования страницы в CMS на примере WordPress

Закрыть от индексации страницы в WordPress проще всего через SEO-плагин, не редактируя код вручную. В большинстве систем управления сайтом (CMS) настройка индексации вынесена в интерфейс, и это снижает риск ошибки для тех, кто не работает с кодом.

В WordPress есть общий переключатель в настройках чтения, который закрывает от индексации весь сайт одной галочкой, его удобно включать на время разработки. Для отдельных страниц и записей используют плагины вроде Yoast SEO или All in One SEO: в блоке настроек каждой страницы включают запрет индексации, и плагин сам подставляет нужный метатег noindex в код. Другие CMS, Tilda, Bitrix, OpenCart, тоже имеют собственные переключатели индексации в настройках страниц.

Как закрыть сайт от индексации в WordPress на время разработки?

Зайдите в раздел настроек чтения WordPress и включите опцию, которая просит поисковые системы не индексировать сайт. Она добавляет запрет автоматически и снимается одной галочкой после запуска.

Помните, что этот переключатель, это та самая ловушка из блока про noindex: после запуска боевого сайта галочку обязательно снимают, иначе проект останется невидимым для поиска. Внесите этот пункт в чек-лист запуска, чтобы не потерять недели трафика.

Как проверить правильность запрета индексации

Проверить, закрыт ли сайт от индексации, можно через панели вебмастера Яндекса и Google, а также прямым просмотром кода страницы и файла robots.txt. Проверка обязательна и после закрытия, и после снятия запрета, потому что молчаливая ошибка тут стоит месяцев потерянного трафика.

Как понять, что страница закрыта от индексации?

Откройте исходный код страницы и найдите в секции head метатег robots со значением noindex, а в файле robots.txt проверьте наличие директивы Disallow для нужного адреса. Дополнительно используйте инструменты проверки индексации в панелях вебмастера.

Пройдите по шагам, чтобы ничего не упустить:

1. Откройте страницу в браузере и вызовите просмотр исходного кода сочетанием клавиш.
2. Найдите в секции head метатег robots и проверьте, стоит ли в нём noindex.
3. Откройте файл robots.txt по адресу вашсайт.ru/robots.txt и проверьте директивы Disallow.
4. Зайдите в Яндекс Вебмастер, в инструмент анализа robots.txt, и проверьте нужный URL.
5. В Google Search Console используйте проверку URL, чтобы увидеть статус индексации.
6. После снятия запрета отправьте страницу на переобход, чтобы ускорить возврат в поиск.

Не полагайтесь на один инструмент. По нашему опыту продвижения расхождение между тем, что написано в коде, и тем, что видит поисковик, встречается регулярно, особенно после переездов и обновлений CMS. Полезно держать под рукой отдельный чек-лист по проверке индексации сайта и сверяться с ним перед каждым запуском.

Способ закрытия	Что закрывает	Где применяется	Гарантия удаления из поиска
robots.txt (Disallow)	сканирование страниц и разделов	корень домена	частичная, не защищает от внешних ссылок
Метатег robots noindex	индексацию конкретной страницы	секция head в HTML	высокая для страниц с HTML-кодом
X-Robots-Tag в htaccess	индексацию любых файлов	серверный ответ Apache	высокая, работает и для PDF, изображений
Пароль на каталог	доступ целиком	сервер	полная, скрывает и от людей, и от роботов
Настройка в CMS	индексацию через плагин	интерфейс WordPress и других CMS	зависит от корректности плагина

Из таблицы видно логику выбора. Для тестовой версии на время разработки удобнее пароль или переключатель в CMS. Для точечного скрытия живых страниц нужен метатег noindex. Для служебных разделов без ценного контента подходит robots.txt. А для файлов без HTML остаётся только серверный X-Robots-Tag. Подробнее о том, как именно закрыть сайт от индексации в robots txt, мы разбираем в отдельном материале.

Выводы

Закрыть от индексации сайт, это рабочий инструмент технического SEO, а не редкая операция: им пользуются на каждой разработке, при переездах и для чистки выдачи от служебных страниц. Главное, выбирать способ под задачу: robots.txt для экономии ресурса робота, метатег noindex для надёжного скрытия живой страницы, серверный htaccess для файлов без HTML и пароль для полной защиты тестовой версии.

Самый дорогой риск здесь не в самом закрытии, а в том, что запрет забудут снять после запуска. Поэтому проверка индексации обязательна и после закрытия, и после открытия сайта, а пункт про noindex стоит внести в чек-лист запуска. Если разбор технических ошибок и индексации кажется зоной риска для вашего проекта, эту часть логично доверить специалистам, которые продвигают сайты и видят такие грабли на практике.

Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.