Адрес robots txt, это всегда корень домена вида https://site.ru/robots.txt, и другого правильного расположения у файла не существует. Поисковые роботы Яндекса и Google ищут его строго по этому пути перед обходом сайта, поэтому файл, лежащий в подпапке или названный иначе, для них просто не существует.
Мы в lucky-seo проверяем robots.txt на каждом сайте, который берём на продвижение, и регулярно находим один и тот же корень проблемы: файл либо лежит не там, либо случайно закрывает от поиска нужные страницы. В этой статье разберём, что такое адрес robots txt, как его открыть за десять секунд и как добавить robots txt на сайт так, чтобы он помогал бизнесу, а не резал трафик из поиска.
Что такое адрес robots txt и зачем это нужно
Адрес robots txt, это фиксированный путь к текстовому файлу с правилами обхода сайта, который всегда размещается в корне домена по схеме протокол плюс домен плюс /robots.txt. Файл сообщает поисковым роботам, какие разделы сайта можно обходить и индексировать, а какие трогать не нужно, например корзину, личный кабинет или технические страницы.
Бизнесу это важно по простой причине: через robots.txt вы управляете тем, какие страницы поисковик увидит и потратит на них свой лимит обхода (crawl budget). Если файл настроен грамотно, робот тратит ресурс на карточки товаров и посадочные страницы, а не на дубли и служебные разделы. Если в нём ошибка, можно одной строкой закрыть от индексации весь сайт и остаться без трафика и заявок.
Адрес у файла один на весь сайт. У поддомена shop.site.ru свой отдельный robots.txt по адресу https://shop.site.ru/robots.txt, потому что для поисковика поддомен, это самостоятельный сайт со своими правилами обхода.
Как найти и открыть адрес robots txt: пошаговая инструкция
Чтобы посмотреть адрес robots txt любого сайта, не нужны специальные программы: файл открывается в обычном браузере, потому что лежит по публичному пути. Проверить свой или чужой сайт можно за минуту, и это первое, что мы делаем при аудите.
- Возьмите главный адрес сайта, например https://site.ru.
- Допишите к нему через слэш robots.txt, чтобы получилось https://site.ru/robots.txt.
- Вставьте полный адрес в строку браузера и нажмите Enter.
- Посмотрите, что открылось: текст с директивами означает, что файл есть и доступен.
- Если вместо текста показывается страница ошибки 404, файла нет и его нужно создать.
- Проверьте протокол: для сайта на https адрес должен начинаться с https, а не http.
- Отдельно откройте адрес каждого поддомена, если они есть, потому что у них свои файлы.
После проверки обязательно прогоните файл через валидатор в Яндекс Вебмастере или в консоли Google, чтобы увидеть ошибки синтаксиса и понять, какие страницы под запретом. Ручного просмотра мало: глазами легко пропустить лишний слэш или неверную директиву, из-за которой закрыт нужный раздел.
Проверяйте robots.txt не только на главном домене, но и на версии с www и без него, а также на http и https. Часто одна из версий отдаёт старый файл со случайной строкой Disallow: /, которая закрывает весь сайт от поиска.
Как добавить robots txt на сайт?
Чтобы добавить robots txt, создайте обычный текстовый файл с именно таким именем в нижнем регистре и положите его в корневую папку сайта на хостинге. Корневая папка, это та, где лежит главная страница (обычно index.php или index.html), и через FTP или файловый менеджер хостинга файл загружается именно туда, а не в подпапки.
На большинстве систем управления сайтом (CMS) задача проще: у WordPress, Битрикс и Тильды есть настройки или плагины, которые создают и редактируют robots.txt без доступа к серверу. После загрузки откройте адрес https://site.ru/robots.txt в браузере и убедитесь, что файл виден и отдаёт нужный текст, а не ошибку.
Почему robots txt не открывается по своему адресу?
Чаще всего файл не открывается, потому что его положили не в корень, а в подпапку, или назвали с ошибкой вроде robot.txt или Robots.TXT. Имя файла чувствительно к регистру и должно быть строго robots.txt строчными буквами, а путь, строго корневой.
Второй частый повод, это кэш или настройки сервера. Иногда старый файл отдаётся из кэша, иногда сервер перенаправляет запрос или отдаёт код ошибки из-за прав доступа. Если по адресу пусто, проверьте расположение файла, его имя, права на чтение и отсутствие лишних редиректов.
Преимущества и недостатки управления через robots txt
Файл по адресу /robots.txt, это самый простой и быстрый способ подсказать поисковику логику обхода сайта, но у него есть жёсткие границы, о которых бизнесу важно знать заранее. Понимание плюсов и минусов помогает не переоценить инструмент и не наделать дорогих ошибок.
Сильная сторона, это простота и скорость. Один текстовый файл управляет обходом всего сайта, его легко открыть, прочитать и поправить, а изменения роботы подхватывают при следующем визите. Через директиву Sitemap в этом же файле вы указываете поисковику адрес карты сайта, что ускоряет обнаружение новых страниц.
Главное ограничение честное и его часто недооценивают. Robots.txt управляет обходом, но не гарантирует запрет индексации. Google предупреждает: страница, закрытая в robots.txt, всё равно может попасть в выдачу, если на неё ведут внешние ссылки, просто без описания. Для надёжного скрытия страницы из поиска нужен метатег noindex или заголовок, а не только строка в robots.txt.
Самая дорогая ошибка бизнеса с этим файлом, это забыть про строку Disallow: / после переноса сайта с тестового сервера на боевой. На тесте сайт закрывают от поиска целиком, а при переезде файл копируют вместе с этой строкой и месяцами не понимают, почему сайт вылетел из выдачи и пропали заявки. Первым делом после запуска открывайте адрес robots.txt и проверяйте, что там нет запрета на весь сайт.
Сравнение robots txt с другими способами управления индексацией
Адрес /robots.txt, это лишь один из инструментов управления тем, что попадает в поиск, и у каждого способа своя зона ответственности. Путаница между ними, это классическая грабля, из-за которой нужные страницы закрывают, а лишние остаются в выдаче.
| Инструмент | Где размещается | Что делает | Когда применять |
|---|---|---|---|
| robots.txt | корень домена по адресу /robots.txt | управляет обходом, рекомендует не сканировать раздел | закрыть служебные разделы, указать карту сайта, экономить лимит обхода |
| метатег noindex | в коде страницы в блоке head | надёжно убирает страницу из индекса поисковика | скрыть конкретную страницу из выдачи наверняка |
| атрибут rel=canonical | в коде страницы в блоке head | указывает главную версию среди дублей | склеить дубли карточек и страниц с параметрами |
| файл sitemap.xml | обычно /sitemap.xml, адрес пишут в robots.txt | подсказывает роботу список нужных страниц | ускорить обход и индексацию нового и важного контента |
Из таблицы видно правило выбора. Нужно закрыть раздел от лишнего обхода, идём в robots.txt. Нужно гарантированно убрать страницу из выдачи, ставим noindex в коде. Нужно навести порядок в дублях, работаем через canonical и sitemap. Robots.txt работает в связке с остальными, а не вместо них.
Примеры использования адреса robots txt
На практике проектов robots.txt по своему адресу решает несколько типовых задач бизнеса, и содержимое файла зависит от типа сайта. Ниже разберём частые сценарии, без выдуманных цифр, только рабочая логика.
Для интернет-магазина в файле обычно закрывают от обхода корзину, оформление заказа, сравнение товаров и страницы поиска по сайту, а также страницы с параметрами фильтров, которые плодят дубли. Так робот не тратит лимит обхода на бесполезные адреса и чаще заходит на карточки товаров и категории, которые приносят продажи.
Для сайта услуг с городами и разделами файл держат простым: закрывают личный кабинет, служебные и технические страницы, а всё продающее оставляют открытым. Здесь важнее не переусердствовать: избыточные запреты чаще вредят, чем помогают, потому что случайно режут нужные посадочные страницы.
Почти в каждом файле независимо от ниши прописывают директиву Sitemap с полным адресом карты сайта вида Sitemap: https://site.ru/sitemap.xml. Это подсказывает поисковику, где взять список всех важных страниц, и ускоряет их попадание в индекс. Есть у файла и своя ирония: строчка, которую пишут для роботов, чаще всего ломает людям именно потому, что её никто не открывает и не перечитывает после изменений на сайте.
Частые вопросы
Какой адрес у файла robots txt?
Адрес robots txt всегда состоит из протокола, домена и пути /robots.txt, например https://site.ru/robots.txt. Файл размещается строго в корне сайта, любое другое расположение или имя поисковые роботы не находят и игнорируют.
Как узнать адрес robots txt чужого сайта?
Допишите к главному адресу сайта через слэш robots.txt и откройте получившуюся ссылку в браузере. Файл открыт публично, поэтому его содержимое видно у любого сайта, и это законный способ посмотреть, как настроен обход у конкурентов.
Что делать, если robots txt открывается с ошибкой 404?
Ошибка 404 по адресу /robots.txt означает, что файла нет, и его нужно создать и загрузить в корень сайта. Отсутствие файла не блокирует индексацию, но лишает вас управления обходом, поэтому базовый robots.txt стоит добавить на любой рабочий сайт.
Может ли быть несколько адресов robots txt у одного сайта?
У основного домена файл только один по адресу /robots.txt, но каждый поддомен имеет свой отдельный robots.txt. Для поисковика поддомен, это самостоятельный сайт, поэтому проверять и настраивать файл нужно на каждом из них по своему адресу.
Закрывает ли robots txt страницу от поиска полностью?
Нет, robots.txt управляет обходом, но не гарантирует, что страница не попадёт в выдачу. Если на закрытый в robots.txt адрес ведут внешние ссылки, он может показаться в поиске без описания, поэтому для надёжного скрытия используют метатег noindex.
Влияет ли robots txt на позиции сайта в Яндексе и Google?
Напрямую robots.txt не поднимает позиции, но через него легко их обрушить ошибочным запретом важных страниц. Грамотный файл помогает поисковику эффективнее обходить сайт и быстрее находить нужные страницы, что косвенно работает на видимость и заявки.
Выводы
Адрес robots txt, это всегда корень домена по пути /robots.txt, и запомнить это правило важнее любых тонких настроек. Файл управляет обходом сайта, помогает поисковику тратить лимит на нужные страницы и указывает адрес карты сайта, но не заменяет метатег noindex для гарантированного скрытия страниц из выдачи.
Проверьте адрес robots.txt на своём сайте прямо сейчас, отдельно на версиях с www и без, на http и https, и убедитесь, что там нет случайной строки Disallow: /, которая закрывает весь сайт. Если разбираетесь глубже, пригодятся материалы про robots txt, инструкция как настроить robots txt и разбор темы robots txt что это. Технические ошибки вроде неверного robots.txt дешевле поймать на старте продвижения, чем потом искать причину провала трафика.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.