Robots meta, это HTML-метатег в секции head страницы, который даёт поисковикам команды: индексировать её или нет, переходить по ссылкам или нет, показывать сниппет или скрыть. С его помощью вы точечно управляете тем, какие страницы попадут в выдачу Яндекса и Google, а какие останутся вне поиска.
Мы в lucky-seo продвигаем сайты бизнеса и регулярно видим одну и ту же беду: одна строчка в robots meta закрывает от индексации целый раздел, а владелец месяцами гадает, почему нет трафика. Эта статья разбирает метатег robots с позиции результата для бизнеса: где он помогает, где ломает выдачу и как настроить его так, чтобы поиск видел ровно нужные страницы. Покажем синтаксис, разницу с robots.txt и заголовком X-Robots-Tag, а также типичные грабли, на которых теряют клиентов.
- Что такое robots meta и зачем это нужно
- Как поисковики обрабатывают meta robots
- Как управлять индексацией страницы через метатег robots
- Как правильно использовать метатег robots и не навредить своему сайту
- Как использовать тег meta с атрибутом robots
- Как добавить тег X-Robots-Tag
- Метатег robots и файл robots.txt для SEO индексации, в чём разница
- Метатег robots: настройка noindex, nofollow и сниппетов
- Частые вопросы
- Выводы
Что такое robots meta и зачем это нужно
Robots meta (meta robots tag), это метатег вида <meta name="robots" content="...">, который поисковый робот читает при загрузке страницы и выполняет как инструкцию по её обработке. В атрибуте content перечислены директивы: индексировать ли страницу, идти ли по её ссылкам, показывать ли расширенный сниппет.
Бизнесу это нужно, чтобы поиск работал на заявки, а не на мусор. Служебные страницы вроде корзины, личного кабинета, страниц фильтров или результатов поиска по сайту не должны попадать в выдачу: они не приводят клиентов, зато размывают релевантность и съедают краулинговый бюджет. Метатег robots убирает такие страницы из индекса, оставляя в поиске только те, что реально продают.
Обратная ситуация встречается чаще и обходится дороже. Разработчик копирует шаблон, забывает снять запрещающую директиву после переноса сайта с тестового домена, и коммерческие страницы месяцами висят закрытыми от поиска. Клиенты уходят к конкурентам, а причина прячется в одной невидимой строке кода.
Как поисковики обрабатывают meta robots
Поисковый робот сначала скачивает HTML страницы, затем читает секцию head и только потом решает, что делать с содержимым согласно найденным директивам. Это ключевое отличие метатега от файла robots.txt: чтобы прочитать meta robots, роботу нужно сначала зайти на страницу и загрузить её код.
Отсюда вытекает практическое следствие. Если вы закрыли страницу в robots.txt, робот на неё вообще не заходит и метатег robots на ней не прочитает. Поэтому запрет в robots.txt плюс noindex в метатеге на одной странице конфликтуют: робот не увидит noindex, страница может остаться в индексе как ссылка без описания. Для надёжного удаления из выдачи страница должна быть открыта для обхода, чтобы робот дошёл до noindex.
Яндекс и Google понимают базовый набор директив одинаково, но детали расходятся. Google отдельно поддерживает директивы для управления сниппетом: max-snippet, max-image-preview, max-video-preview. Яндекс исторически опирается ещё и на собственные механизмы, поэтому для рунета важно проверять поведение обеих систем, а не полагаться на одну документацию.
Хотите гарантированно убрать страницу из поиска, оставьте её доступной для робота и поставьте noindex в метатеге. Не закрывайте её одновременно в robots.txt: иначе робот не дойдёт до запрета и страница застрянет в выдаче обрубком.
Как управлять индексацией страницы через метатег robots
Управление индексацией через robots meta сводится к двум основным директивам в атрибуте content: index/noindex отвечают за попадание страницы в поиск, follow/nofollow за переход робота по ссылкам с неё. Комбинируя их, вы задаёте странице любой из четырёх режимов поведения.
Значение по умолчанию, когда метатег не прописан вовсе, равно index, follow: страница индексируется, ссылки на ней робот учитывает. Поэтому для обычных коммерческих страниц метатег можно не ставить: поиск и так возьмёт их в работу. Прописывают его там, где нужно отступить от этого поведения.
Вот как выглядят четыре базовые комбинации и что они дают на практике:
| Директива | Индексация страницы | Переход по ссылкам | Когда применять |
|---|---|---|---|
| index, follow | да | да | обычные продающие страницы, поведение по умолчанию |
| noindex, follow | нет | да | пагинация, фильтры, страницы без ценности в поиске, но с полезными ссылками |
| index, nofollow | да | нет | редко, например страница с большим числом внешних ссылок сомнительного качества |
| noindex, nofollow | нет | нет | тестовые страницы, дубли, полностью служебные разделы |
Чаще всего бизнесу нужны первая и вторая строки. Продающие страницы оставляют по умолчанию, а служебные закрывают через noindex, follow, чтобы робот не индексировал их, но продолжал ходить по внутренним ссылкам и обходить сайт целиком.
Как правильно использовать метатег robots и не навредить своему сайту
Правильное использование robots meta начинается с инвентаризации: сначала разберитесь, какие страницы должны быть в поиске, а какие нет, и только потом расставляйте директивы. Настройка вслепую по чужому шаблону, это прямой путь выронить из индекса нужные разделы.
Главное правило: закрывайте только то, что не приводит клиентов и не несёт ценности для поиска. Под noindex обычно уходят корзина, оформление заказа, личный кабинет, страницы благодарности, внутренний поиск, технические дубли и версии для печати. Всё, что человек ищет в Яндексе и Google перед покупкой, должно оставаться открытым.
Отдельная осторожность нужна с массовой простановкой директив через CMS или плагины. Одна галка в настройках может закрыть от индексации сразу тип страниц: например все карточки товаров или весь блог. Поэтому после любой правки robots meta проверяйте результат на живых страницах, а не в интерфейсе админки.
Самая дорогая ошибка бизнеса, это забытый noindex после разработки или переноса сайта. На тестовом домене весь сайт закрывают от индексации целиком, а при выкатке на боевой домен снять запрет забывают. Сайт запущен, реклама крутится, а поиск его не видит неделями. Первым делом после запуска проверьте метатег robots на главных коммерческих страницах.
Как использовать тег meta с атрибутом robots
Тег meta с атрибутом robots прописывается вручную в секции <head> каждой страницы, к которой нужно применить директиву. Синтаксис простой: имя робота в атрибуте name, набор команд через запятую в атрибуте content.
Базовый запрет индексации с сохранением обхода ссылок выглядит так:
html
<head>
<meta name="robots" content="noindex, follow">
</head>
Можно адресовать директиву конкретному поисковику, заменив значение name. Для Google это googlebot, для Яндекса yandex. Это удобно, когда поведение должно отличаться в разных системах:
html
<meta name="googlebot" content="noindex, nofollow">
<meta name="yandex" content="index, follow">
Порядок настройки метатега на практике сводится к нескольким шагам:
- Определите, должна ли страница быть в поиске: приводит ли она клиентов и есть ли по ней спрос.
- Выберите комбинацию директив: продающая страница остаётся открытой, служебная закрывается через noindex.
- Пропишите тег в секцию head именно этой страницы, а не в общий шаблон всего сайта.
- Убедитесь, что страница не закрыта одновременно в robots.txt, иначе робот не прочитает noindex.
- Проверьте результат в панелях Яндекс Вебмастер и Google Search Console через инструмент проверки страницы.
- Дождитесь переобхода: изменения вступают в силу не мгновенно, а после следующего визита робота.
Отдельно стоит помнить про Google-директивы управления сниппетом. Тег <meta name="robots" content="max-image-preview:large"> разрешает крупное превью картинки в выдаче, что заметно улучшает вид сниппета в коммерческих нишах.
Как добавить тег X-Robots-Tag
X-Robots-Tag, это те же директивы индексации, но переданные не в HTML, а в HTTP-заголовке ответа сервера. Он решает задачу, с которой метатег не справляется: управление индексацией файлов, у которых нет секции head, например PDF, изображений, документов и архивов.
Заголовок настраивают на уровне сервера. Для Apache директивы добавляют в файл .htaccess, для Nginx в конфигурацию сервера. Пример для Apache, который закрывает от индексации все PDF-файлы на сайте:
apache
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
Аналогичная задача в Nginx решается директивой add_header для нужного типа файлов. Значения директив в X-Robots-Tag совпадают с метатегом: noindex, nofollow, none, а также Google-специфичные max-snippet и max-image-preview.
X-Robots-Tag удобен ещё и тем, что задаётся централизованно для целых групп страниц по маске, без правки каждого файла вручную. По нашему опыту продвижения это спасает на крупных сайтах, где нужно разом закрыть тысячи страниц одного типа, а лезть в код каждой нереально.
Чем X-Robots-Tag отличается от метатега robots?
X-Robots-Tag работает на уровне HTTP-заголовка и подходит для любых файлов, тогда как метатег robots живёт внутри HTML и применим только к веб-страницам. Функционально директивы у них одинаковые, различие в способе доставки роботу.
Выбор простой. Для обычных HTML-страниц удобнее метатег: он нагляден и правится прямо в шаблоне. Для нетекстовых файлов и массовых операций по маске берут X-Robots-Tag, потому что метатег в PDF или картинку не вставить.
Метатег robots и файл robots.txt для SEO индексации, в чём разница
Robots.txt управляет обходом сайта роботом, а метатег robots управляет индексацией конкретной страницы, это принципиально разные уровни контроля. Robots.txt говорит роботу «сюда не заходи», а метатег говорит «зайти можно, но в поиск не добавляй».
Разница важна на практике, потому что путаница между ними, это классический источник потери трафика. Многие думают, что запрет в robots.txt убирает страницу из поиска. На деле, если на закрытую в robots.txt страницу ведут внешние ссылки, она может попасть в индекс без описания, потому что робот не смог зайти и прочитать noindex.
| Параметр | robots.txt | Метатег robots |
|---|---|---|
| Уровень действия | весь сайт или разделы | одна конкретная страница |
| Что контролирует | обход, заход робота на URL | индексацию и показ страницы в поиске |
| Где прописан | один файл в корне сайта | секция head каждой страницы |
| Надёжно убирает из индекса | нет, только ограничивает обход | да, при открытом обходе страницы |
| Подходит для файлов без HTML | да | нет, для этого X-Robots-Tag |
Практический вывод для бизнеса. Хотите скрыть страницу от глаз в поиске, используйте noindex в метатеге и не блокируйте её в robots.txt. Хотите просто не пускать робота в служебный раздел ради экономии краулингового бюджета, закрывайте его в robots.txt. Подробнее о настройке файла читайте в материалах про robots txt и как настроить robots txt.
Метатег robots: настройка noindex, nofollow и сниппетов
Директивы noindex и nofollow, это две несущие команды метатега, а управление сниппетом, это отдельная группа тонких настроек для внешнего вида страницы в выдаче. Разберём, что делает каждая и как их не перепутать.
Noindex запрещает добавлять страницу в поисковый индекс: она не покажется в результатах, даже если по ней есть релевантный запрос. Nofollow говорит роботу не переходить по ссылкам с этой страницы и не передавать по ним вес. Их часто ставят вместе как noindex, nofollow, но для служебных страниц с полезной внутренней перелинковкой правильнее noindex, follow: страница вне поиска, а обход сайта не страдает.
Директива none, это сокращённая запись для noindex, nofollow, полностью выключающая страницу из работы поиска. А для готовых к индексации страниц ставить index, follow вручную обычно не нужно, потому что это и есть поведение по умолчанию.
Отдельная семья директив отвечает за сниппет в Google: nosnippet убирает текстовое описание, max-snippet:N ограничивает длину описания N символами, max-image-preview:large разрешает крупное превью изображения. Для готовых к индексации страниц эти детали помогают сделать сниппет заметнее и поднять кликабельность в выдаче. Тонкости открытия страниц под индекс мы разбираем в статье про meta name robots content index follow.
Частые вопросы
Что такое robots meta простыми словами?
Robots meta, это команда для поисковиков в коде страницы, которая говорит, добавлять её в поиск или нет и переходить ли по её ссылкам. Метатег ставят в секцию head и с его помощью управляют тем, какие страницы сайта появятся в выдаче Яндекса и Google, а какие останутся скрытыми.
Как закрыть страницу от индексации через метатег robots?
Пропишите в секцию head страницы тег <meta name="robots" content="noindex, follow"> и не блокируйте эту страницу в файле robots.txt. Директива noindex уберёт её из поиска, а follow оставит обход внутренних ссылок, чтобы робот дальше нормально ходил по сайту. Результат появится после следующего визита робота, не мгновенно.
Чем метатег robots отличается от файла robots.txt?
Robots.txt управляет тем, зайдёт ли робот на страницу, а метатег robots управляет тем, попадёт ли она в индекс. Если закрыть страницу в robots.txt, робот на неё не зайдёт и метатег noindex не прочитает, поэтому для надёжного скрытия из поиска нужен именно открытый обход плюс noindex в метатеге.
Нужно ли ставить index, follow на обычные страницы?
Ставить index, follow вручную не обязательно, потому что это поведение поисковика по умолчанию, когда метатег не прописан. Продающие страницы можно оставить без метатега robots, они и так проиндексируются. Прописывают его там, где нужно отступить от стандартного поведения и что-то закрыть или ограничить.
Почему страница не уходит из индекса после noindex?
Чаще всего причина в том, что страница одновременно закрыта в robots.txt: робот на неё не заходит и потому не видит noindex. Вторая причина, робот ещё не переобошёл страницу, изменения вступают в силу не сразу. Откройте страницу для обхода, оставьте только noindex и отправьте её на переобход через Яндекс Вебмастер и Google Search Console.
Что такое X-Robots-Tag и когда он нужен?
X-Robots-Tag, это те же директивы индексации, но переданные в HTTP-заголовке ответа сервера, а не в HTML. Он нужен для файлов без секции head: PDF, изображений, документов, а также для массового закрытия групп страниц по маске на уровне сервера, когда править каждую страницу вручную нереально.
Как разрешить крупное превью картинки в сниппете Google?
Добавьте в метатег директиву max-image-preview:large, например <meta name="robots" content="max-image-preview:large">. Она разрешает Google показывать большое изображение в сниппете, что делает вашу страницу в выдаче заметнее и обычно повышает кликабельность в коммерческих нишах.
Выводы
Robots meta, это не украшение кода, а рычаг управления тем, какие страницы приводят вам клиентов из поиска. Продающие страницы держите открытыми, служебные закрывайте через noindex, follow, а для файлов без HTML используйте X-Robots-Tag. Ключевое правило: чтобы убрать страницу из выдачи, оставьте её доступной для робота и поставьте noindex, но не блокируйте её ещё и в robots.txt, иначе запрет не сработает.
Для бизнеса главная опасность метатега, это не сложность, а невнимательность: забытый noindex после разработки способен спрятать от поиска весь сайт. Проверяйте директивы на живых страницах после каждого запуска и обновления, сверяйтесь с панелями вебмастеров и не закрывайте лишнего. Тогда индексация работает на вас, а не против вашего трафика.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.