Закрыть сайт от индексации: рабочие способы и когда бизнесу это реально нужно

Закрыть сайт от индексации, значит запретить поисковым роботам Яндекса и Google обходить страницы и показывать их в выдаче. Делается это несколькими способами: через файл robots.txt, мета-тег robots со значением noindex, серверный файл htaccess и заголовок ответа сервера X-Robots-Tag, каждый решает свою задачу.

Мы в lucky-seo продвигаем сайты бизнеса и регулярно видим две крайности: то забыли снять запрет после разработки и месяцами не понимают, почему нет трафика, то закрыли не тот раздел и потеряли из выдачи рабочие страницы. Ниже разложим, чем способы отличаются, когда какой применять и как проверить, что запрет реально сработал. Материал полезен и владельцу, который контролирует подрядчика, и специалисту, который настраивает всё руками.

Что значит закрыть сайт от индексации и зачем это нужно

Закрыть сайт от индексации (block from indexing), значит дать поисковым роботам сигнал не добавлять страницы в базу и не показывать их в результатах поиска. Индексация, это процесс, при котором робот обходит страницу, разбирает содержимое и заносит его в свой индекс, откуда потом берёт ответы для пользователей. Запрет разрывает эту цепочку на нужном этапе.

Бизнесу это нужно чаще, чем кажется. Сайт на этапе разработки не должен попадать в поиск в сыром виде. Тестовые копии, черновики, страницы благодарности после оплаты, личные кабинеты, результаты внутреннего поиска и корзина не приводят клиентов, зато раздувают индекс мусором и размывают вес полезных страниц.

Обратная сторона тоже реальна. Полностью закрытый сайт не получит из поиска ни одного посетителя, а значит ни одной заявки. Поэтому запрет, это точечный инструмент, а не режим по умолчанию: закрываем ровно то, что не должно продавать, и держим открытым всё, что работает на клиентов.

Как запретить индексацию в robots.txt

Файл robots.txt, это текстовый файл в корне сайта, который говорит роботам, какие разделы обходить, а какие нет. Он лежит по адресу вида ваш-домен/robots.txt и читается роботом первым, ещё до обхода страниц. Это самый простой и быстрый способ закрыть большие разделы.

Чтобы закрыть весь сайт от всех роботов, в файл добавляют две строки:

User-agent: *
Disallow: /

Строка User-agent задаёт, к какому роботу относится правило, а звёздочка означает всех. Disallow со слэшем запрещает обход всего каталога от корня. Можно закрыть отдельный раздел, указав его путь, например Disallow: /admin/ или Disallow: /cart/.

Есть важная тонкость, из-за которой бизнес часто ошибается. Директива Disallow запрещает обход страницы, но не всегда убирает её из выдачи. Если на закрытую страницу ведут внешние ссылки, Google может показать её в результатах без описания, со строкой о том, что содержимое недоступно. Поэтому robots.txt хорош, чтобы не пускать робота в служебные разделы, но для гарантированного скрытия конкретной страницы надёжнее мета-тег noindex.

Как закрыть страницу через мета-тег robots noindex

Мета-тег robots со значением noindex, это строка в коде страницы, которая прямо запрещает поисковику включать эту страницу в индекс. В отличие от robots.txt, он работает на уровне конкретной страницы и даёт самый надёжный запрет для одного документа. Робот заходит, читает тег и не добавляет страницу в выдачу.

Тег ставится внутри блока head в HTML-коде:

<meta name="robots" content="noindex, nofollow">

Значение noindex запрещает индексацию самой страницы, nofollow запрещает переходить по ссылкам с неё. Если нужно закрыть страницу только от одного поисковика, вместо robots подставляют имя робота: yandex для Яндекса или googlebot для Google.

Здесь кроется частая ловушка. Чтобы робот увидел мета-тег noindex, он должен зайти на страницу и прочитать код. Если та же страница закрыта в robots.txt, робот на неё не зайдёт и тег не прочитает. Поэтому два способа не складывают, а мешают друг другу: для гарантированного скрытия страницы оставляют её открытой в robots.txt, но ставят noindex в коде.

Как закрыть сайт через серверный файл htaccess

Файл htaccess, это конфигурационный файл сервера Apache, через который можно закрыть доступ к сайту ещё до отдачи страницы. Он подходит, когда нужно не просто спрятать сайт из поиска, а вообще не пускать посторонних, например на закрытый стейджинг для клиента. Способ работает на уровне сервера, а не разметки.

Самый частый сценарий, закрыть тестовый сайт паролем. В htaccess прописывают базовую авторизацию, и без логина с паролем страница вообще не открывается. Робот не получает контент, значит и в индекс ничего не попадает. Для боевого сайта пароль не подходит, потому что закроет доступ и живым клиентам.

Через htaccess также можно отдавать роботам заголовок X-Robots-Tag или блокировать конкретных ботов по User-agent. Это уже тонкая серверная настройка, и трогать боевой htaccess без бэкапа опасно: ошибка в синтаксисе роняет весь сайт целиком, а не одну страницу. Поэтому правки этого файла обычно доверяют разработчику или SEO-специалисту.

Как заблокировать индексацию через X-Robots-Tag

X-Robots-Tag, это директива в HTTP-заголовке ответа сервера, которая делает то же, что мета-тег noindex, но на уровне сервера, а не HTML. Главное преимущество в том, что заголовком можно закрыть файлы, у которых нет html-кода: PDF, изображения, документы Word и Excel, архивы. Мета-тег в них не вставить, а заголовок сервер отдаёт для любого файла.

Настраивается заголовок на сервере, для Apache через htaccess, для Nginx в конфиге сайта. Пример для закрытия всех PDF-файлов от индексации в htaccess выглядит так:

<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Способ ценят на проектах с каталогами документов и медиатеками, где нужно спрятать из поиска прайсы, инструкции или служебные файлы, но оставить открытыми сами страницы. Как и noindex, X-Robots-Tag требует, чтобы файл не был закрыт в robots.txt, иначе робот не дойдёт до заголовка.

Как скрыть от индексации отдельный блок на странице

Полностью убрать из индекса часть страницы, оставив остальное открытым, штатными средствами Google нельзя: тег noindex работает только на всю страницу целиком. Google официально не поддерживает скрытие отдельных блоков, поэтому любые решения тут, это компромисс, а не гарантия.

У Яндекса исторически был тег noindex для куска текста, но он нестандартный и Google его игнорирует. Более рабочий приём для обоих поисковиков, выносить служебные и повторяющиеся блоки в отдельную подгрузку или помечать их так, чтобы они не считались основным содержимым. На практике это нужно редко.

Когда бизнесу вообще нужно прятать блок?

Чаще всего задача скрыть блок оказывается ложной. За ней прячется другая проблема: дубли текста в карточках товаров, одинаковые описания категорий или повторяющийся шаблонный текст на десятках страниц. Решать это лучше не костылём со скрытием блока, а уникализацией контента и правильной структурой сайта, тогда и прятать ничего не придётся.

Как закрыть страницу от индексации в WordPress

В WordPress закрыть сайт от индексации можно без кода, через настройки. В админке есть галочка Настройки, Чтение, пункт Попросить поисковые системы не индексировать сайт. Она добавляет запрет для всего сайта разом и удобна на этапе разработки.

Для отдельных страниц и записей запрет ставят SEO-плагины. В Yoast SEO или Rank Math у каждой записи в блоке настроек есть переключатель разрешить или запретить индексацию, который проставляет мета-тег noindex автоматически. Так закрывают, например, страницы благодарности, служебные лендинги или тестовые записи.

Здесь скрывается классическая грабля бизнеса. Разработчик ставит галочку Попросить не индексировать на время сборки сайта, а после запуска её забывают снять. Сайт готов, реклама идёт, а органического трафика нет, потому что во всех страницах прописан noindex. Первое, что стоит проверить на новом сайте WordPress, это снята ли эта галочка в настройках чтения.

Как проверить, что запрет индексации сработал

Проверить запрет индексации нужно обязательно, потому что настроить и убедиться, что настройка работает, это два разных действия. Полагаться на то, что правило прописано верно, нельзя: одна лишняя строка или конфликт способов сводят запрет на нет. Есть несколько точек контроля.

1. Откройте в браузере адрес ваш-домен/robots.txt и прочитайте, какие разделы там реально закрыты.
2. Посмотрите исходный код нужной страницы и найдите в блоке head мета-тег robots со значением noindex.
3. Проверьте HTTP-заголовки ответа сервера через инструменты разработчика в браузере или онлайн-сервис и убедитесь, что там есть X-Robots-Tag, если использовали его.
4. Загрузите robots.txt в анализатор robots.txt внутри Яндекс Вебмастера и проверьте нужный URL на доступность для робота.
5. Прогоните страницу через инструмент проверки URL в Google Search Console и посмотрите статус индексации.
6. Через несколько дней после настройки введите в поиск запрос site:ваш-домен и посмотрите, ушли ли закрытые страницы из выдачи.

Полезно свести способы в одну таблицу, чтобы выбрать нужный под задачу и не путать области их применения.

Способ	Что закрывает	Гарантия удаления из выдачи	Когда применять
robots.txt	обход разделов и папок	нет, только запрет обхода	служебные разделы, стейджинг, большие каталоги
Мета-тег noindex	одну html-страницу	да, надёжно	конкретные страницы: корзина, кабинет, благодарность
htaccess (пароль)	весь сайт целиком	да, доступа нет вообще	тестовые и demo-версии для клиента
X-Robots-Tag	файлы без html: PDF, картинки, документы	да, надёжно	медиатеки, каталоги документов, прайсы
Настройка CMS	сайт или страницу через админку	да, ставит noindex	WordPress и другие CMS без правки кода

Из таблицы видно правило выбора: robots.txt для разделов, noindex для отдельных страниц, X-Robots-Tag для файлов, пароль для полного закрытия теста. Смешивать способы на одном объекте не нужно, они начинают мешать друг другу.

Частые ошибки при закрытии сайта от индексации

Главная ошибка, воспринимать запрет индексации как безобидную галочку. На деле неверная настройка стоит бизнесу трафика и заявок, а найти причину без проверки бывает сложно, потому что сайт внешне работает. По опыту продвижения проектов одни и те же грабли повторяются из раза в раз.

Первая, забытый запрет после разработки: сайт запущен, а noindex или Disallow: / остались с этапа сборки. Вторая, закрытие нужных разделов заодно с мусорными, когда под запрет случайно попадают карточки товаров или посадочные страницы. Третья, вера в robots.txt как в средство удаления страниц из поиска, хотя он лишь запрещает обход. Четвёртая, конфликт способов, когда noindex и robots.txt блокируют друг друга.

Отдельный честный сюжет из практики. Бизнес нередко приходит с жалобой, что сайт «выпал из поиска», а на проверке оказывается, что кто-то из команды или прошлый подрядчик закрыл сайт от индексации и не открыл обратно. Проблема лечится в один клик, но до неё месяцами теряли клиентов, потому что никто не догадался заглянуть в robots.txt и код страниц.

Выводы

Закрыть сайт от индексации, это точечный инструмент, а не режим по умолчанию. Для служебных разделов и больших каталогов подходит robots.txt, для отдельных страниц надёжнее мета-тег noindex, для файлов без html нужен X-Robots-Tag, а для тестовых версий безопаснее пароль через htaccess. Смешивать способы на одном объекте не стоит, они начинают конфликтовать.

Главное правило для бизнеса, закрывать только то, что не должно приводить клиентов, и обязательно проверять результат через robots.txt, код страницы и инструменты Яндекса и Google. Самая частая беда, забытый после разработки запрет, из-за которого сайт молча теряет трафик. Если продвижение буксует без видимой причины, разбор индексации, это первое, с чего стоит начать аудит.

Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.