Robots txt что это, это текстовый файл в корне сайта, который подсказывает поисковым роботам Яндекса и Google, какие разделы можно обходить, а какие лучше не трогать. От пары строк в нём зависит, попадут ли в поиск нужные страницы с товарами и услугами или туда утечёт технический мусор, который сливает бюджет краулинга.
Мы в lucky-seo продвигаем сайты бизнеса и почти в каждом аудите находим robots txt, собранный на глаз: то закрыт весь каталог целиком, то открыта корзина и админка. Эта статья объясняет владельцу и маркетологу, зачем нужен файл, как он работает и где его чаще всего ломают. Разберём на примерах, дадим пошаговую настройку и покажем типичные грабли, которые стоят компании позиций и заявок.
- Что такое robots txt и зачем это нужно бизнесу
- Robots txt для сайта: что это на самом деле и что он умеет
- Пошаговая инструкция по настройке robots txt
- Преимущества и недостатки robots txt
- Сравнение способов управления индексацией
- Примеры использования robots txt в разных нишах
- Советы и лайфхаки по работе с robots txt
- Типичные ошибки и как их избежать
- Частые вопросы
- Выводы
Что такое robots txt и зачем это нужно бизнесу
Robots txt (Robots Exclusion Protocol), это служебный файл в корне сайта по адресу вида site.ru/robots.txt, где прописаны правила для поисковых роботов. Робот заходит на сайт, первым делом читает этот файл и уже потом решает, какие URL обходить, а какие пропустить.
Бизнесу файл важен по простой причине: он управляет тем, что попадёт в поисковую выдачу. Если в индекс уходят страницы фильтров, корзина, результаты внутреннего поиска и служебные разделы, поисковик тратит ресурс обхода (краулинговый бюджет) на бесполезные URL, а важные карточки товаров и посадочные страницы обходит реже. В итоге деньги вложены в сайт, а находят его хуже, чем могли бы.
Правильно настроенный robots txt наводит порядок: робот тратит силы на страницы, которые приносят заявки, и не индексирует дубли, из-за которых Яндекс и Google понижают сайт. Это не разовая задача, а часть технического SEO, к которой возвращаются при каждом крупном изменении сайта.
Robots txt для сайта: что это на самом деле и что он умеет
Robots txt для сайта, это инструмент рекомендаций, а не жёсткого запрета. Робот добросовестного поисковика правила уважает, но файл не защищает страницу от посторонних глаз и не гарантирует, что закрытый URL никогда не попадёт в выдачу.
Файл собран из простых директив. Директива User-agent указывает, для какого робота действует блок правил. Disallow закрывает путь от обхода, Allow, наоборот, открывает исключение внутри закрытого раздела. Отдельная строка Sitemap подсказывает роботу адрес карты сайта, чтобы он быстрее нашёл все нужные страницы.
Важный нюанс, который путают чаще всего. Disallow запрещает роботу заходить на страницу, но если на неё ведут внешние ссылки, URL всё равно может показаться в выдаче без описания. Чтобы страница гарантированно не попала в поиск, её закрывают метатегом noindex на самой странице, а не только через robots txt.
Не путайте задачи закрытия от индексации и закрытия от обхода. Robots txt управляет обходом, метатег noindex управляет попаданием в выдачу. Для служебных разделов обычно нужны оба инструмента, а не один. Подробности по настройке смотрите в материале про как настроить robots txt.
Где лежит файл и как его проверить?
Robots txt всегда лежит в корне домена и открывается по прямому адресу site.ru/robots.txt в любом браузере. Если по этому адресу пусто или ошибка 404, значит файла нет и робот обходит сайт без ограничений.
Проверить содержимое можно вручную через браузер, а корректность директив, через панели вебмастеров. Яндекс Вебмастер и Google Search Console показывают, как роботы читают ваши правила и не закрыли ли вы случайно нужные страницы.
Пошаговая инструкция по настройке robots txt
Настройка robots txt, это управляемый процесс, где важен порядок: сначала понять структуру сайта, потом закрывать лишнее. По нашему опыту продвижения такая последовательность бережёт от главной беды, случайного закрытия страниц, которые приносят заявки.
- Откройте адрес site.ru/robots.txt и проверьте, есть ли файл сейчас и что в нём написано.
- Составьте список разделов сайта: каталог, карточки, статьи, корзина, личный кабинет, фильтры, внутренний поиск, админка.
- Отметьте, что должно быть в поиске (товары, услуги, статьи), а что нет (служебные и технические URL).
- Создайте текстовый файл robots.txt в кодировке UTF-8 через любой текстовый редактор.
- Пропишите User-agent, затем директивы Disallow для служебных разделов и Allow для нужных исключений.
- Добавьте строку Sitemap с полным адресом карты сайта.
- Загрузите файл в корневую папку сайта на хостинге, чтобы он открывался по адресу site.ru/robots.txt.
- Проверьте результат в Яндекс Вебмастере и Google Search Console, убедитесь, что нужные страницы открыты для обхода.
Порядок одинаков для интернет-магазина и для сайта услуг, меняются только конкретные разделы. Главное правило: сначала список страниц, потом директивы, а не наоборот.
Преимущества и недостатки robots txt
Robots txt даёт контроль над обходом сайта почти бесплатно, но у файла есть жёсткие границы, за которые бизнес регулярно заходит и получает проблемы. Трезвый взгляд на его возможности экономит нервы при разборе просадок трафика.
Плюсы очевидны. Файл экономит краулинговый бюджет, убирает из индекса технические дубли, ускоряет обход важных страниц и указывает роботу карту сайта. Настраивается один раз и работает дальше сам, а правки занимают минуты.
Минусы такие же реальные. Robots txt не защищает данные: закрытая директивой страница всё равно доступна по прямой ссылке любому человеку. Файл не гарантирует исключение из выдачи, для этого нужен noindex. И самое опасное, одна лишняя строка Disallow может закрыть от поиска весь сайт, а владелец заметит это только по обвалу трафика через несколько недель.
Самая дорогая ошибка, это забыть строку Disallow: / в файле после переноса сайта с тестового домена на боевой. На тесте сайт закрывают от индексации целиком, а при переезде забывают открыть. Робот честно исполняет запрет, сайт вылетает из поиска, а заявки обрываются. Всегда проверяйте robots txt сразу после любого переезда или обновления.
Сравнение способов управления индексацией
Robots txt, это не единственный инструмент управления тем, что попадает в поиск, и путать его функции с другими способами, значит терять страницы или, наоборот, тащить в выдачу мусор. Ниже сведены основные инструменты, чтобы было видно, что каким закрывать.
| Инструмент | Что делает | Когда применять | Чего не умеет |
|---|---|---|---|
| Robots txt (Disallow) | запрещает роботу обход URL | служебные разделы, фильтры, дубли | не убирает страницу из выдачи полностью |
| Метатег noindex | запрещает попадание страницы в поиск | страницы, которые не должны быть в индексе | требует обхода страницы роботом |
| Атрибут canonical | указывает главную версию страницы | дубли карточек и фильтров | не запрещает обход, только подсказывает |
| Пароль или закрытие доступа | скрывает страницу от всех | личные кабинеты, приватные данные | недоступно для обычного контента |
Из таблицы видно логику. Robots txt закрывает обход, noindex закрывает выдачу, canonical склеивает дубли, а пароль реально прячет данные. Для служебных разделов бизнеса чаще всего работает связка robots txt плюс noindex, а не один файл.
Примеры использования robots txt в разных нишах
Robots txt выглядит по-разному в зависимости от типа сайта, хотя логика везде одна: закрываем служебное, открываем то, что приносит клиентов. Покажем на типичных примерах бизнеса, без выдуманных цифр.
Для интернет-магазина главная работа идёт вокруг фильтров и корзины. В индекс должны попасть категории и карточки товаров, а страницы сортировки, результаты внутреннего поиска, корзина и оформление заказа, закрыты. Иначе поисковик тонет в тысячах почти одинаковых URL с параметрами и обходит реальные товары реже.
Для сайта услуг с блогом закрывают технические разделы CMS, страницы тегов и архивы, если они плодят дубли, а открывают посадочные страницы услуг и полезные статьи. Здесь ошибка обычно в обратную сторону: случайно закрывают весь блог, который собирал информационный трафик и приводил тёплую аудиторию.
Отдельный честный сюжет. Бизнес нередко приходит к нам после того, как разработчик при обновлении сайта залил на прод тестовый robots txt со строкой Disallow: / и закрыл весь сайт от поиска. Пару недель никто не смотрит на трафик, потом падают заявки, начинается паника и поиск виноватых. Проблема лечится за минуту, но осадок и потерянные обращения остаются. Если хотите разобраться в устройстве файла глубже, пригодится разбор про robots txt и материал о правилах txt индексации robots.
Советы и лайфхаки по работе с robots txt
Robots txt любит простоту: чем короче и понятнее файл, тем меньше шансов случайно закрыть нужное. Несколько приёмов из практики продвижения помогают держать его в порядке и не ловить сюрпризов.
Держите в файле только осмысленные правила и комментарии к сложным блокам, чтобы через полгода вы или новый специалист поняли, зачем закрыт каждый раздел. Всегда указывайте актуальный адрес Sitemap, это ускоряет обход новых страниц. После каждой правки проверяйте файл в панелях вебмастеров, а не полагайтесь на то, что синтаксис верный на глаз.
Отдельно следите за файлом при смене CMS, переезде на новый домен и крупных доработках сайта. Именно в эти моменты чаще всего случайно закрывают лишнее или забывают открыть боевую версию. Возьмите за правило: любое обновление сайта заканчивается проверкой robots txt.
Нужен ли robots txt небольшому сайту?
Robots txt полезен даже сайту на несколько страниц, потому что помогает указать карту сайта и закрыть служебные разделы CMS. Небольшому сайту не нужен сложный файл, достаточно базовых правил и строки Sitemap.
Полное отсутствие файла тоже не катастрофа: робот просто обойдёт всё подряд. Но аккуратный robots txt задаёт роботу понятные рамки и снижает риск попадания технического мусора в выдачу.
Типичные ошибки и как их избежать
Главная ошибка бизнеса с robots txt, относиться к нему как к мелочи, которую разработчик настроит между делом. На практике одна строка в этом файле влияет на трафик сильнее, чем месяц работы над текстами.
Частые провалы одни и те же. Полное закрытие сайта строкой Disallow: / после переезда с теста. Открытая для индексации корзина, личный кабинет и результаты внутреннего поиска, из-за которых в выдачу лезет мусор. Забытый или неверный адрес Sitemap, из-за чего новые страницы обходятся медленно. Попытка спрятать через robots txt приватные данные, которые на деле остаются доступными по прямой ссылке.
Лечится всё одинаково: сначала список страниц и понимание, что должно быть в поиске, потом аккуратные директивы, и обязательная проверка в Яндекс Вебмастере и Google Search Console. Не гадайте по синтаксису, проверяйте, как файл читают сами роботы.
Частые вопросы
Robots txt что это простыми словами?
Robots txt, это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы обходить, а какие пропустить. Он лежит по адресу site.ru/robots.txt и читается роботом в первую очередь при заходе на сайт.
Обязателен ли robots txt для сайта?
Robots txt не обязателен, без него робот просто обойдёт весь сайт без ограничений. Но файл помогает управлять обходом, экономить краулинговый бюджет и указывать карту сайта, поэтому его настраивают почти на всех проектах.
Может ли robots txt закрыть весь сайт от поиска?
Да, строка Disallow: / закрывает от обхода весь сайт целиком, и это самая частая дорогая ошибка. Такое обычно случается при переезде с тестового домена на боевой, когда забывают снять полный запрет, поэтому файл всегда проверяют после любого переезда.
Robots txt защищает приватные данные?
Нет, robots txt не защищает данные и не прячет страницу от людей. Закрытая директивой Disallow страница остаётся доступной по прямой ссылке, для реального ограничения доступа нужен пароль или закрытие на уровне сервера.
Чем robots txt отличается от метатега noindex?
Robots txt запрещает роботу обход страницы, а noindex запрещает попадание страницы в поисковую выдачу. Это разные задачи: для служебных разделов часто нужны оба инструмента, потому что закрытая только в robots txt страница всё равно может показаться в поиске.
Как проверить, правильно ли настроен robots txt?
Проверить файл можно вручную по адресу site.ru/robots.txt и через панели вебмастеров. Яндекс Вебмастер и Google Search Console показывают, как роботы читают ваши правила и не закрыты ли случайно нужные страницы.
Выводы
Robots txt что это, это маленький текстовый файл с большой ответственностью: он управляет тем, что поисковик обходит на вашем сайте и на что тратит ресурс. Настроенный аккуратно, он бережёт краулинговый бюджет и убирает мусор из выдачи; настроенный небрежно, одной строкой обрушивает весь трафик и заявки.
Бизнесу важно помнить три вещи: robots txt закрывает обход, но не гарантирует исключение из поиска и не защищает данные; после любого переезда или обновления файл нужно проверить; для служебных разделов работает связка robots txt и noindex. Если разбираться в технической части некогда, эту задачу закрывают в рамках технического аудита сайта, где заодно чинят дубли, скорость и индексацию, из-за которых бизнес чаще всего недобирает клиентов из поиска.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.