Найти robots txt можно за минуту: файл всегда лежит в корне домена по адресу вида site.ru/robots.txt, и его видно из любого браузера без доступа к сайту. Это первый документ, который читает поисковый робот перед обходом страниц, поэтому от его содержимого зависит, увидят ли Яндекс и Google ваши товары, услуги и статьи.
Мы в lucky-seo при каждом аудите первым делом открываем robots.txt, и примерно у каждого третьего сайта там прячется ошибка, которая режет трафик. Ниже разберём, где найти файл robots txt, как его открыть на своём и на чужом сайте, что означают строки внутри и какие грабли в нём чаще всего стоят бизнесу денег. Материал одинаково полезен владельцу, который хочет проверить подрядчика, и начинающему специалисту.
Что такое robots txt и зачем его искать
Robots txt (robots exclusion file), это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы обходить, а какие пропускать. Он не хранит секретов и не защищает страницы паролем, а лишь задаёт правила поведения для ботов Яндекса, Google и других систем.
Искать его нужно по одной простой причине: пара строк в этом файле управляет тем, попадёт ли сайт в поиск целиком, частично или не попадёт вообще. Владельцу это важно как проверка: не закрыт ли бизнес от клиентов случайной директивой. Специалисту это отправная точка любого технического аудита, потому что бессмысленно наращивать ссылки и писать тексты, если роботу запрещён вход.
Внутри файл управляет тремя вещами. Он открывает или закрывает разделы для обхода через директивы Allow и Disallow, показывает роботам карту сайта через строку Sitemap и задаёт правила отдельно для разных поисковиков через User-agent. Всё это обычный текст, который читается глазами без специальных программ.
Где найти файл robots txt на любом сайте
Найти файл robots txt проще, чем кажется: он лежит строго в корне домена и открывается прямой ссылкой, даже если у вас нет доступа к самому сайту. Правило одно на все сайты в интернете: добавьте /robots.txt к адресу главной страницы.
Например, для сайта shop.ru адрес файла будет shop.ru/robots.txt, для блога blog.company.com, соответственно, blog.company.com/robots.txt. Работает это и для вашего проекта, и для сайта конкурента, потому что файл по стандарту публичный. Открыть его можно прямо в браузере на телефоне или компьютере, регистрация и специальные инструменты не нужны.
Если по адресу открывается пустая страница или ошибка 404, файла на сайте просто нет. Это не всегда проблема: без robots.txt поисковик обходит весь сайт по умолчанию. Но для коммерческого сайта отсутствие файла обычно означает, что от роботов не закрыты служебные и мусорные страницы, а это лишняя нагрузка и разбавленная выдача.
Возьмите за привычку проверять robots.txt у двух-трёх прямых конкурентов из топа. Вы бесплатно увидите, какие разделы они прячут от поиска и где лежит их карта сайта, а это готовая подсказка по структуре ниши.
Как открыть robots txt на своём сайте?
Откройте адрес вашего домена с приставкой /robots.txt в браузере, и содержимое файла появится как обычный текст. Это самый быстрый способ, он не требует ни доступа к хостингу, ни панели управления сайтом.
Если нужно не просто посмотреть, а отредактировать файл, доступ ищут в трёх местах в зависимости от движка сайта. На чистом хостинге файл лежит в корневой папке сайта (обычно public_html или www) и правится через файловый менеджер или по FTP. На популярных CMS (WordPress, Bitrix, Tilda) файл обычно генерируется настройками или SEO-плагином, а не редактируется руками напрямую. Отдельный разбор того, как настроить robots txt под конкретный движок, поможет не наделать ошибок при правках.
Как проверить robots txt через инструменты Яндекса и Google?
Проверить корректность файла удобнее не глазами, а через официальные панели вебмастеров, которые показывают ошибки и разрешён ли конкретный URL для обхода. В Яндекс Вебмастере есть раздел с анализом robots.txt, в Google Search Console, соответственно, отчёт о доступности страниц.
Эти инструменты полезны тем, что имитируют поведение реального робота. Вы вставляете адрес страницы и видите вердикт: разрешена она к обходу или закрыта, и какой именно строкой файла. Это снимает главный риск, когда файл выглядит правильным, но по факту блокирует нужный раздел из-за одной лишней директивы.
Пошаговая инструкция: как найти и проверить robots txt
Найти и проверить robots txt правильно, значит не просто открыть файл, а понять, не закрыто ли от поиска что-то важное для бизнеса. По нашему опыту проектов этот порядок ловит большинство критичных ошибок за десять минут.
- Откройте в браузере адрес вашего сайта с приставкой /robots.txt.
- Убедитесь, что файл открылся текстом, а не выдал ошибку 404.
- Найдите строки Disallow и проверьте, что среди них нет закрытых нужных разделов (каталог, товары, услуги).
- Убедитесь, что нет строки Disallow: / без уточнения, потому что она закрывает от поиска весь сайт.
- Проверьте наличие строки Sitemap с адресом карты сайта.
- Откройте адрес из строки Sitemap и убедитесь, что карта доступна.
- Прогоните ключевые страницы через анализатор robots.txt в Яндекс Вебмастере и Google Search Console.
- Если нашли закрытым нужный раздел, снимите запрет и отправьте страницы на переобход.
Этот чеклист универсален для сайта любого размера. У интернет-магазина проверок по разделам будет больше, у сайта-визитки меньше, но логика «открыть файл, найти запреты, проверить карту, прогнать через панель» одинаковая.
Самая дорогая ошибка бизнеса, это строка Disallow: / без уточнения, которая закрывает от поиска весь сайт целиком. Её часто оставляют разработчики после переноса сайта с тестового сервера на боевой и забывают убрать. Сайт при этом работает и открывается у людей, но постепенно вылетает из поиска, а трафик и заявки тихо падают к нулю. Проверяйте robots.txt сразу после любого запуска или переезда сайта.
Что означают строки внутри robots txt
Строки внутри robots txt, это набор простых команд, и разобраться в них можно без технического образования. Каждая строка состоит из директивы и значения, а понимание четырёх основных команд закрывает почти все задачи проверки.
User-agent задаёт, для какого робота действуют правила ниже. Звёздочка после неё означает «для всех роботов сразу», а конкретное имя вроде Yandex или Googlebot, соответственно, правила только для этого поисковика. Disallow запрещает роботу обходить указанный раздел, а Allow, наоборот, разрешает и обычно используется, чтобы открыть подраздел внутри закрытой папки.
Отдельно стоит строка Sitemap: она указывает роботу полный адрес карты сайта, чтобы тот быстрее нашёл все важные страницы. В отличие от остальных директив, она задаётся один раз и работает для всех роботов, потому что карта сайта нужна каждому из них.
| Директива | Что делает | Пример строки |
|---|---|---|
| User-agent | задаёт, для какого робота правила ниже | User-agent: * |
| Disallow | запрещает обход раздела | Disallow: /admin/ |
| Allow | разрешает обход раздела | Allow: /catalog/ |
| Sitemap | указывает адрес карты сайта | Sitemap: site.ru/sitemap.xml |
| Clean-param | убирает лишние параметры из URL для Яндекса | Clean-param: sort /catalog/ |
Из таблицы видно главную логику файла. Сначала вы указываете, для кого правила (User-agent), затем что закрыть (Disallow) и что открыть (Allow), и в конце показываете карту сайта (Sitemap). Всё остальное, это тонкая настройка под конкретные задачи проекта.
Чем robots txt отличается от noindex и sitemap?
Robots txt управляет обходом сайта роботом, тег noindex управляет попаданием страницы в индекс, а sitemap помогает роботу найти страницы, и это три разных инструмента. Их постоянно путают, и из этой путаницы рождаются дорогие ошибки.
Ключевая ловушка в том, что закрытие страницы в robots.txt не гарантирует её исчезновения из поиска. Если на страницу ведут ссылки, поисковик может показать её в выдаче без описания, потому что запрет на обход, это не запрет на индексацию. Чтобы гарантированно убрать страницу из поиска, используют мета-тег noindex на самой странице, а не строку в robots.txt. Файл robots.txt хорош для управления нагрузкой и скрытия служебных разделов, но не для удаления страниц из индекса. Если хотите глубже разобраться в самом документе, пригодится разбор того, что такое robots txt и как он устроен.
Типичные ошибки в robots txt, которые стоят бизнесу денег
Ошибки в robots txt коварны тем, что сайт продолжает работать и открываться у людей, а трафик из поиска при этом тихо утекает. По практике аудитов чаще всего встречаются несколько повторяющихся сюжетов, и почти все они про невнимательность, а не про сложность.
Первая и самая частая, это закрытый от поиска весь сайт строкой Disallow: /. Как уже говорили, она остаётся после переезда с тестового сервера. Вторая, это случайно закрытый нужный раздел: бизнес прячет от роботов папку с картинками, а вместе с ней вылетают из поиска карточки товаров. Третья, это отсутствие строки Sitemap, из-за чего робот дольше находит новые страницы и медленнее их индексирует.
Отдельный честный сюжет из практики. Бизнес нередко приходит с жалобой «сайт был в топе, а потом резко пропал», подозревает происки конкурентов или фильтр поисковика, а на деле разработчик при обновлении сайта залил старый robots.txt с тестового сервера, где всё было закрыто. Лечится это одной правкой файла и отправкой на переобход, но потерянные за это время заявки уже не вернуть. Поэтому robots.txt проверяют первым, а не последним.
После любой правки robots.txt не ждите, пока робот сам заметит изменения, а отправьте важные страницы на переобход через панель вебмастера. Так поисковик пересмотрит доступ к разделам за дни, а не за недели, и трафик восстановится быстрее.
Может ли неправильный robots txt убить трафик сайта?
Да, неправильный robots txt способен обрушить трафик до нуля, если он случайно закрывает от поиска весь сайт или его коммерческое ядро. Это одна из немногих технических ошибок, которая бьёт мгновенно и по всему сайту сразу.
При этом сам по себе идеальный robots.txt не поднимает сайт в топ, он лишь снимает барьер для роботов. Считайте его гигиеной, а не рычагом роста: закрытый файл гарантированно вредит, но открытый и правильный, это только фундамент, поверх которого работают контент, ссылки и поведенческие факторы. Поэтому проверка robots.txt входит в базовый чеклист технического SEO, но не заменяет его.
Частые вопросы
Как найти robots txt на сайте?
Добавьте к адресу сайта приставку /robots.txt и откройте получившуюся ссылку в браузере, например site.ru/robots.txt. Файл лежит в корне любого домена и доступен публично, поэтому его можно открыть без доступа к хостингу как на своём сайте, так и на сайте конкурента.
Где физически лежит файл robots txt?
Файл robots.txt лежит в корневой папке сайта на хостинге, обычно это каталог public_html или www. На чистом хостинге его правят через файловый менеджер или по FTP, а на популярных CMS вроде WordPress или Bitrix он чаще генерируется настройками и SEO-плагином.
Что делать, если robots txt открывается с ошибкой 404?
Ошибка 404 по адресу /robots.txt означает, что файла на сайте нет и поисковик обходит весь сайт по умолчанию. Для сайта-визитки это не критично, но коммерческому сайту файл нужен, чтобы закрыть служебные и мусорные страницы и указать роботу адрес карты сайта.
Как проверить, что robots txt не закрывает нужные страницы?
Прогоните адреса важных страниц через анализатор robots.txt в Яндекс Вебмастере или отчёт о доступности в Google Search Console. Инструмент имитирует поведение робота и показывает, разрешена страница к обходу или закрыта, и какой именно строкой файла её блокирует.
Можно ли посмотреть robots txt конкурента?
Да, файл robots.txt публичный по стандарту, поэтому его можно открыть у любого сайта тем же способом: адрес домена плюс /robots.txt. Так вы увидите, какие разделы конкурент прячет от поиска и по какому адресу лежит его карта сайта, что помогает понять структуру ниши.
Robots txt удаляет страницу из поиска?
Нет, robots.txt управляет обходом сайта роботом, но не гарантирует удаления страницы из индекса. Если на закрытую страницу ведут ссылки, поисковик может показать её в выдаче без описания, поэтому для гарантированного удаления страницы используют мета-тег noindex на самой странице.
Выводы
Найти robots txt, это дело одной минуты и первый шаг проверки любого сайта: откройте адрес домена с приставкой /robots.txt, найдите строки Disallow, убедитесь, что не закрыто лишнее, и проверьте наличие карты сайта. Этот файл не поднимает сайт в топ, но легко способен уронить трафик до нуля одной случайной строкой, поэтому его проверяют первым при аудите, после запуска и после каждого переезда сайта.
Владельцу бизнеса robots.txt дарит быструю самопроверку: пара минут, и вы знаете, не закрыт ли ваш сайт от клиентов. Специалисту это фундамент, поверх которого имеет смысл строить всё остальное продвижение. Если файл в порядке, а трафика всё равно нет, значит, дело не в нём, и разбираться нужно глубже, в технической базе, семантике и контенте.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.