Как настроить robots txt: создайте в корне сайта текстовый файл robots.txt, укажите в нём правила Disallow и Allow для роботов поисковиков, добавьте адрес карты сайта через Sitemap и проверьте результат в панелях Яндекса и Google. Ошибка в одной строке этого файла способна закрыть от индексации весь сайт разом, поэтому настройку делают аккуратно и обязательно проверяют.
Мы в lucky-seo продвигаем сайты бизнеса и регулярно видим одну и ту же картину: заказчик вложился в тексты и рекламу, а страницы не попадают в поиск из-за одной строки в robots.txt. Этот гайд показывает, как настроить файл так, чтобы поисковики видели нужные страницы и не тратили силы на мусорные. Разберём по шагам, с примерами и типичными граблями, из-за которых бизнес теряет трафик и заявки.
- Как настроить robots txt и что это за файл
- Зачем настраивать robots txt бизнесу, а не только сеошнику
- Из чего состоит файл robots txt
- Кириллица в файле Robots: почему ломается индексация
- Пошаговая инструкция по настройке robots txt
- Проверка файла robots: как убедиться, что всё работает
- Готовые примеры robots txt для разных сайтов
- Как настроить закрывающий robots txt на время разработки
- Типичные ошибки при настройке robots txt
- Советы по robots txt на 2026 год
- Частые вопросы
- Выводы
Как настроить robots txt и что это за файл
Robots.txt, это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие страницы обходить, а какие пропускать. Он лежит по адресу вида ваш-домен.ру/robots.txt и открывается в любом браузере, потому что это обычный текст без разметки и программного кода.
Файл работает как список рекомендаций для роботов Яндекса, Google и других систем. В нём указывают, кого правила касаются (директива User-agent), что закрыть от обхода (Disallow), что разрешить точечно (Allow) и где лежит карта сайта (Sitemap). Робот заходит на сайт, первым делом читает robots.txt и уже по нему решает, куда идти.
Для бизнеса это не техническая мелочь, а фундамент индексации. Если файл настроен неверно, поисковик либо не видит важные страницы с товарами и услугами, либо тратит бюджет обхода на служебные разделы вроде корзины и личного кабинета. И то и другое бьёт по позициям, а значит по потоку заявок из поиска.
Не начинайте продвижение с закупки ссылок и переписывания текстов, пока не проверили robots.txt. Часто достаточно исправить одну ошибочную строку, чтобы закрытые страницы вернулись в индекс, и это бесплатно.
Зачем настраивать robots txt бизнесу, а не только сеошнику
Правильный robots.txt напрямую влияет на то, сколько ваших страниц попадёт в поиск и как быстро. Поисковый робот обходит сайт не бесконечно: у него есть лимит на число страниц за визит, так называемый краулинговый бюджет (crawl budget). Если робот тратит его на дубли и служебные разделы, до реально важных карточек товаров он может не дойти.
Грамотная настройка решает три задачи бизнеса сразу. Во-первых, закрывает от индексации мусор: результаты внутреннего поиска, страницы фильтров с бесконечными параметрами, корзину, страницы благодарности после заявки. Во-вторых, направляет робота на приоритетные разделы через карту сайта. В-третьих, защищает от попадания в выдачу технических страниц, по которым к вам не должны приходить клиенты.
Есть и обратная сторона. Тот же файл при неаккуратной правке способен вырезать из поиска весь сайт одной строкой. Именно поэтому robots.txt трогают осознанно, а после каждой правки проверяют результат в инструментах поисковиков.
Из чего состоит файл robots txt
Файл robots.txt собирается из нескольких директив, каждая из которых пишется с новой строки. Понимание этих директив снимает большую часть страхов: их немного, и логика у них простая.
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Указывает, к какому роботу относятся правила ниже | User-agent: Yandex |
| Disallow | Закрывает раздел или страницу от обхода | Disallow: /cart/ |
| Allow | Разрешает обход внутри закрытого раздела | Allow: /catalog/hit/ |
| Sitemap | Сообщает адрес карты сайта | Sitemap: https://site.ru/sitemap.xml |
| Clean-param | Убирает дубли из-за GET-параметров (для Яндекса) | Clean-param: utm_source /catalog/ |
Разберём главное по строкам. User-agent со звёздочкой означает «правила для всех роботов». Можно задать блок отдельно для Яндекса и отдельно для Google, если правила должны отличаться. Disallow с пустым значением, то есть Disallow: без адреса, наоборот разрешает обход всего сайта. А вот Disallow со слешем Disallow: / закрывает весь сайт целиком, и это самая частая роковая ошибка.
Символы тоже важны. Звёздочка заменяет любую последовательность символов, а знак доллара обозначает конец адреса. Например, Disallow: /*.pdf$ закроет от индексации все PDF-файлы. Комментарии начинают со знака решётки, робот их игнорирует, а вам они помогают не запутаться в собственном файле.
Самая дорогая ошибка бизнеса, это строка Disallow: / на боевом сайте. Её нередко забывают убрать после разработки, когда сайт был закрыт от индексации целиком на время сборки. Результат один: сайт полностью выпадает из поиска, трафик и заявки обнуляются, а причину ищут неделями, грешат на алгоритмы и подрядчика, хотя дело в одном символе.
Кириллица в файле Robots: почему ломается индексация
Кириллицу в robots.txt использовать нельзя: доменные имена и адреса страниц в файле пишут только в кодировке Punycode и процентном кодировании, иначе робот не поймёт правило. Это касается сайтов на кириллических доменах вида сайт.рф и адресов с русскими словами в URL.
На практике это означает следующее. Если у вас домен на кириллице, в строке Sitemap его записывают в виде xn--… (это и есть Punycode). Русские символы в пути страницы кодируют в формат с процентами, например «каталог» превращается в набор символов после знака процента. Проще всего скопировать готовый закодированный адрес прямо из браузера, потому что он показывает адрес уже в нужном виде.
Сам файл robots.txt сохраняют в кодировке UTF-8. Комментарии на русском внутри файла допустимы, робот их всё равно пропускает, но директивы и адреса должны быть только в латинице и кодированном виде. Пренебрежение этим правилом даёт тихий сбой: файл вроде есть, а часть правил не работает.
Пошаговая инструкция по настройке robots txt
Настройка robots.txt, это управляемый процесс из нескольких шагов, который проходят по порядку без возврата назад. По нашему опыту продвижения именно последовательность экономит время и защищает от роковых ошибок.
- Составьте список разделов, которые надо закрыть: корзина, оформление заказа, личный кабинет, внутренний поиск, страницы фильтров с параметрами, служебные и технические папки.
- Создайте обычный текстовый файл в блокноте и назовите его строго robots.txt в нижнем регистре.
- Пропишите первую строку User-agent: со звёздочкой, чтобы правила действовали для всех роботов.
- Добавьте строки Disallow для каждого раздела из списка на первом шаге, каждую с новой строки.
- Впишите строку Sitemap с полным адресом карты сайта, начиная с https.
- Для Яндекса добавьте директиву Clean-param, если на сайте есть дубли из-за меток вроде utm.
- Сохраните файл в кодировке UTF-8 и загрузите его в корневую папку сайта через файловый менеджер хостинга или по FTP.
- Откройте адрес ваш-домен.ру/robots.txt в браузере и убедитесь, что файл отдаётся и виден.
- Проверьте правила в Яндекс Вебмастере и Google Search Console через встроенные инструменты анализа robots.txt.
Этот порядок одинаков для сайта-визитки и для интернет-магазина. Разница только в объёме списка на первом шаге: у магазина закрывать приходится больше служебных разделов, чем у лендинга.
Как настроить https robots
Для сайта на https адрес карты сайта в директиве Sitemap указывают с протоколом https, а не http, иначе поисковик получит противоречивый сигнал. Robots.txt при этом всегда лежит по защищённому адресу вида https://site.ru/robots.txt, и именно эту версию читает робот.
Если сайт переехал с http на https, проследите, чтобы старый адрес отдавал редирект на защищённую версию, а внутри файла все ссылки на карту сайта вели на https. Смешение протоколов внутри robots.txt путает робота и замедляет переиндексацию после переезда.
Проверка файла robots: как убедиться, что всё работает
Проверку robots.txt делают в бесплатных инструментах Яндекса и Google, которые показывают, открыта конкретная страница для обхода или закрыта. Это обязательный шаг: без него легко закрыть лишнее и узнать об этом только по падению трафика через месяц.
В Яндекс Вебмастере есть раздел «Анализ robots.txt»: туда вставляют содержимое файла и проверяют любой адрес сайта на доступность для робота. В Google Search Console работает похожий инструмент проверки. Оба показывают, какая именно строка разрешает или запрещает обход, поэтому найти ошибочное правило можно за минуту.
Проверять стоит не только сразу после настройки, но и после любых изменений на сайте: смены движка, добавления новых разделов, переноса на другой хостинг. Хорошая привычка, это заглядывать в robots.txt при каждом плановом аудите, потому что файл имеет свойство обрастать лишними строками руками разных людей.
После правки robots.txt проверьте доступность десятка ключевых страниц: главной, двух-трёх категорий, пары карточек товаров и страницы контактов. Если хоть одна важная страница помечена как закрытая, ищите правило, которое её задело, и исправляйте до того, как это увидит робот.
Готовые примеры robots txt для разных сайтов
Готовый пример robots.txt проще адаптировать под свой сайт, чем писать файл с нуля. Ниже принципы для типовых ситуаций бизнеса, без привязки к конкретному движку.
Для сайта-визитки или лендинга файл минимальный: одна строка User-agent со звёздочкой, при необходимости закрытие пары служебных папок и обязательная строка Sitemap. Закрывать почти нечего, задача сводится к тому, чтобы указать карту сайта и не мешать роботу обходить страницы.
Для интернет-магазина файл объёмнее. Закрывают корзину, оформление заказа, сравнение товаров, избранное, внутренний поиск и страницы сортировки. Отдельная забота, это дубли из-за фильтров и меток: их гасят через Disallow с масками и через Clean-param для Яндекса. При этом важно не перестараться и оставить открытыми сами карточки товаров и категории, ведь именно они приводят покупателей.
Для сайта услуг с привязкой к городу принцип тот же, но акцент на открытости посадочных страниц под запросы вида «услуга плюс район». Здесь опасно случайно закрыть маской целую группу нужных страниц, поэтому маски проверяют особенно тщательно.
Как настроить закрывающий robots txt на время разработки
Закрывающий robots.txt полностью запрещает обход сайта и нужен только на время разработки, когда сайт ещё не готов к показу в поиске. Он состоит буквально из двух строк: User-agent со звёздочкой и Disallow со слешем, что означает «закрыть весь сайт для всех роботов».
Такой файл ставят на тестовую версию или на сайт в процессе сборки, чтобы недоделанные страницы не попали в выдачу. Но здесь и кроется ловушка: при переносе сайта на боевой домен закрывающий robots.txt нередко переезжает вместе с ним, и живой сайт остаётся невидимым для поиска.
Правило простое: перед запуском боевой версии первым делом проверяют robots.txt и убирают строку Disallow: /. Если вы заказываете разработку у подрядчика, зафиксируйте открытие сайта от индексации отдельным пунктом приёмки. Это дешевле, чем потом искать, почему новый сайт месяц не появляется в поиске.
Типичные ошибки при настройке robots txt
Большинство проблем с robots.txt сводится к нескольким повторяющимся ошибкам, которые дорого обходятся бизнесу. Зная их в лицо, вы избежите потери трафика на пустом месте.
Первая ошибка, это забытый Disallow: / на боевом сайте после разработки. Вторая, закрытие через robots.txt страниц, которые уже в индексе, в надежде их оттуда убрать: файл управляет обходом, а не удалением из выдачи, для удаления нужны другие инструменты. Третья, блокировка папок со стилями и скриптами: если робот не видит CSS и JavaScript, он хуже понимает вёрстку и мобильную версию, что бьёт по ранжированию.
Отдельная категория, это тихие ошибки. Файл сохранён в неверной кодировке, назван Robots.txt с большой буквы, лежит не в корне, а в подпапке, содержит кириллицу в директивах. Сайт при этом работает, robots.txt формально есть, но правила не применяются. Такие сбои ловятся только проверкой в Вебмастере, поэтому её и делают обязательной.
| Ошибка | Чем грозит | Как исправить |
|---|---|---|
| Disallow: / на боевом сайте | Весь сайт выпадает из поиска | Убрать строку, проверить в Вебмастере |
| Закрытие CSS и JavaScript | Ухудшается ранжирование, особенно на мобильных | Открыть папки со стилями и скриптами |
| Кириллица в директивах | Правила не работают | Перевести адреса в Punycode и UTF-8 |
| Файл не в корне сайта | Робот не находит файл, правил нет | Перенести robots.txt в корневую папку |
| Ставка на robots для удаления из индекса | Страница остаётся в выдаче | Использовать инструменты удаления и мета-теги |
Не пытайтесь удалить страницу из поиска через Disallow в robots.txt, это распространённое заблуждение. Закрытая от обхода страница, которая уже попала в индекс, может оставаться в выдаче ещё долго, потому что робот перестаёт её посещать и не видит команды на удаление. Для реального удаления используют мета-тег noindex или инструменты удаления страниц в панелях поисковиков.
Советы по robots txt на 2026 год
Подход к robots.txt в 2026 году остаётся консервативным: базовые директивы работают у Яндекса и Google так же, как и годы назад, и изобретать новое не нужно. Гоняться за экзотическими правилами не стоит, надёжнее держать файл простым и проверенным.
Из свежего есть одна практическая деталь. Всё больше сайтов добавляет в robots.txt правила для ботов нейросетей и ИИ-скраперов, решая, пускать их к своему контенту или нет. Единого стандарта тут пока нет, и это вопрос политики бизнеса, а не SEO: закрытие таких ботов на позиции в Яндексе и Google не влияет.
Держите robots.txt в порядке как часть регулярной гигиены сайта. Заглядывайте в него при каждом аудите, синхронизируйте с картой сайта, убирайте устаревшие правила. Если хотите глубже разобраться в механике, пригодятся материалы про robots txt как настроить и robots txt что это, а также разбор закрывающего robots txt для тестовых версий.
Частые вопросы
Где должен лежать файл robots txt?
Файл robots.txt должен лежать строго в корневой папке сайта и открываться по адресу ваш-домен.ру/robots.txt. Если положить его в подпапку или назвать с заглавной буквы, робот его не найдёт и будет считать, что правил нет, поэтому расположение и имя в нижнем регистре критичны.
Можно ли закрыть весь сайт от индексации через robots txt?
Да, для этого пишут две строки: User-agent со звёздочкой и Disallow со слешем, что закрывает весь сайт для всех роботов. Такой закрывающий файл нужен только на время разработки, а на боевом сайте его обязательно убирают, иначе сайт полностью пропадёт из поиска.
Как проверить, правильно ли настроен robots txt?
Настройку проверяют бесплатными инструментами анализа robots.txt в Яндекс Вебмастере и Google Search Console, куда вставляют содержимое файла и тестируют доступность любой страницы. Инструмент показывает, какая именно строка разрешает или запрещает обход, поэтому ошибочное правило находится за минуту.
Почему нельзя писать кириллицу в robots txt?
Роботы поисковиков корректно читают в robots.txt только латиницу и кодированные адреса, поэтому кириллические домены записывают в Punycode, а русские слова в пути через процентное кодирование. Если оставить кириллицу как есть, правило не сработает, а сам файл сохраняют в кодировке UTF-8.
Удалит ли robots txt страницу из поиска, если она уже в индексе?
Нет, robots.txt управляет обходом, а не удалением из выдачи, поэтому уже проиндексированная страница после закрытия в файле может оставаться в поиске долго. Для реального удаления применяют мета-тег noindex на самой странице или инструменты удаления в панелях Яндекса и Google.
Нужно ли закрывать в robots txt папки со стилями и скриптами?
Нет, папки с CSS и JavaScript оставляют открытыми, иначе робот хуже понимает вёрстку и мобильную версию сайта, а это ухудшает ранжирование. Раньше их закрывали по привычке, но современные роботы Яндекса и Google рендерят страницы и должны видеть все ресурсы.
Выводы
Настройка robots.txt, это не разовая формальность, а базовая гигиена сайта, от которой зависит, попадут ли ваши страницы в поиск. Сам файл простой: несколько директив, немного логики и обязательная проверка в панелях поисковиков после каждой правки. Главную ценность он даёт не сложностью, а аккуратностью.
Для бизнеса вывод прямой. Перед вложениями в тексты, ссылки и рекламу убедитесь, что фундамент цел: robots.txt не закрывает лишнего, отдаёт карту сайта и проверен в Вебмастере. Одна забытая строка Disallow: / способна обнулить весь трафик, а одна исправленная, наоборот, вернуть закрытые страницы в индекс бесплатно. Если разбираться в технике некогда, это как раз тот случай, когда аудит специалиста окупается быстрее любой рекламной кампании.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.