Robots txt пример, это готовый образец текстового файла в корне сайта, который подсказывает поисковым роботам, какие страницы можно обходить, а какие закрыть от индексации. Ниже разберём, как файл устроен, покажем рабочие примеры для типовых сайтов и объясним, где бизнес чаще всего теряет позиции из-за одной кривой строки.
Мы в lucky-seo продвигаем сайты бизнеса и на аудитах регулярно находим, как один неверный запрет в этом файле закрывает от поиска половину каталога или, наоборот, пускает в выдачу корзину и админку. Файл выглядит безобидно, четыре строки текста, но его ошибки стоят реальных заявок. Ниже соберём разбор по полкам с примерами, которые можно скопировать и адаптировать под свой проект.
Что такое robots txt пример и зачем он нужен бизнесу
Robots txt пример показывает, как должен выглядеть служебный файл, который лежит по адресу вашсайт.ру/robots.txt и первым встречает поискового робота. В нём вы указываете, каким ботам разрешён обход, какие разделы закрыты и где искать карту сайта. Для поисковика это не жёсткий закон, а рекомендация, но Яндекс и Google её соблюдают.
Бизнесу файл важен не сам по себе, а через деньги. Если в индекс попадают дубли, страницы фильтров, корзина и технические разделы, поисковик тратит краулинговый бюджет (crawl budget) на мусор, а важные коммерческие страницы обходит реже. В итоге карточки товаров и посадочные под заявки индексируются медленнее, а позиции проседают.
Обратная и более опасная ситуация, когда одной строкой закрывают весь сайт. Такое случается после переезда с тестового домена, где стоял полный запрет, и его забыли снять на боевом. Сайт исчезает из выдачи целиком, трафик падает в ноль, а причина прячется в одной строке файла.
Как устроен файл robots txt: директивы и синтаксис
Файл robots.txt состоит из блоков правил, каждый блок начинается с указания робота, к которому он применяется, и дальше идут разрешения и запреты. Синтаксис простой, но чувствительный к регистру и опечаткам, поэтому лишний пробел или неверная директива ломают всё правило.
Ключевые директивы всего несколько, и запомнить их несложно:
- User-agent, указывает, к какому роботу относятся правила ниже (звёздочка значит все роботы)
- Disallow, запрещает обход указанного пути или раздела
- Allow, разрешает обход внутри уже закрытого раздела (точечное исключение)
- Sitemap, задаёт полный адрес карты сайта в формате XML
- Clean-param, для Яндекса убирает из обхода дубли по GET-параметрам
Правила читаются сверху вниз, но приоритет у более длинного и точного пути, а не у порядка строк. Если Disallow закрывает папку целиком, а Allow открывает внутри неё один подраздел, робот учтёт оба правила и обойдёт разрешённое исключение.
Как закрыть от индексации папку или раздел?
Чтобы закрыть папку, укажите её путь в директиве Disallow со слешем на конце: строка Disallow: /admin/ запретит роботу весь раздел администрирования вместе со всем содержимым. Robots txt папка закрывается именно так, одной директивой на весь каталог, а не перечислением каждого файла внутри.
Если внутри закрытой папки есть страница, которая должна попасть в индекс, добавьте под запретом директиву Allow с точным путём к ней. Робот сопоставит оба правила и обойдёт разрешённое исключение, оставив остальное закрытым.
Чем отличается закрытие в robots txt от noindex?
Запрет в robots.txt мешает роботу обойти страницу, а мета-тег noindex запрещает показывать её в выдаче, и это принципиально разные механики. Закрытая в robots.txt страница может остаться в индексе как ссылка без описания, если на неё ведут внешние ссылки, потому что робот к ней просто не пришёл и не увидел запрет на показ.
Правило простое: хотите убрать страницу из выдачи полностью, оставьте её открытой для обхода в robots.txt и повесьте мета-тег noindex. Хотите сэкономить краулинговый бюджет на мусорных разделах, закрывайте их в robots.txt. Путать эти инструменты, значит получить страницы-призраки в поиске.
После правки файла всегда проверяйте его в Яндекс Вебмастере и Google Search Console через инструмент проверки robots.txt. Введите конкретный URL и посмотрите, разрешён он или закрыт: это отлавливает ошибку за минуту, до того как она вырежет из индекса живые страницы.
Пошаговая инструкция: как составить robots txt под свой сайт
Составить рабочий файл можно за один заход, если идти по порядку и не закрывать лишнего. По нашему опыту продвижения именно спешка и копирование чужого файла без разбора дают потом просадку позиций, поэтому проходите шаги последовательно.
- Создайте обычный текстовый файл с именем robots.txt в кодировке UTF-8 без BOM.
- Первой строкой пропишите User-agent: * для правил, общих для всех роботов.
- Закройте служебные разделы: корзину, личный кабинет, страницы поиска, админку, теги сортировки.
- Откройте через Allow нужные исключения внутри закрытых папок, если такие есть.
- Добавьте отдельный блок User-agent: Yandex с директивой Clean-param для дублей по параметрам.
- Последней строкой укажите Sitemap с полным адресом карты сайта, включая https.
- Загрузите файл в корень сайта, чтобы он открывался по адресу вашсайт.ру/robots.txt.
- Проверьте каждый важный URL в инструментах Яндекс Вебмастера и Google Search Console.
Порядок не зависит от движка сайта. На WordPress, Bitrix или самописе логика одна: сначала закрываем служебное, потом открываем нужное, в конце отдаём карту сайта и проверяем результат.
Самая дорогая ошибка, скопировать robots.txt с чужого сайта на своей CMS. Пути к служебным разделам у разных движков отличаются, и чужой файл либо закроет ваши рабочие страницы, либо оставит открытыми дубли. Чужой пример берут как ориентир по структуре, а пути прописывают под свой сайт.
Готовые примеры robots txt для разных сайтов
Ниже собраны рабочие образцы под типовые задачи бизнеса. Их берут за основу и подгоняют пути под свою CMS, а не копируют вслепую.
Минимальный универсальный пример, который открывает сайт всем роботам и отдаёт карту сайта:
User-agent: *
Disallow:
Sitemap: https://вашсайт.ру/sitemap.xml
Пример для интернет-магазина, где закрыты корзина, оформление заказа, личный кабинет и внутренний поиск:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /personal/
Disallow: /search/
Allow: /catalog/
Sitemap: https://вашсайт.ру/sitemap.xml
Пример полного запрета для тестового домена, чтобы черновик сайта не попал в индекс до запуска:
User-agent: *
Disallow: /
Последний образец удобен на разработке, но именно он чаще всего забывается на боевом сайте и обрушивает трафик. Перед запуском проекта проверка этой строки обязательна.
| Задача | Ключевая директива | Пример строки |
|---|---|---|
| Открыть весь сайт для обхода | Disallow (пустой) | Disallow: |
| Закрыть один раздел | Disallow | Disallow: /admin/ |
| Открыть исключение в закрытой папке | Allow | Allow: /admin/help/ |
| Полностью закрыть сайт | Disallow | Disallow: / |
| Указать карту сайта | Sitemap | Sitemap: https://сайт.ру/sitemap.xml |
| Убрать дубли по параметрам (Яндекс) | Clean-param | Clean-param: sort /catalog/ |
Из таблицы видно главное: почти вся настройка держится на двух директивах, Disallow и Allow, а остальное дополняет их под конкретную задачу. Разобравшись с этими двумя, вы закроете большинство типовых сценариев.
Частые ошибки в robots txt и как их не допустить
Ошибки в файле обходятся дорого именно потому, что незаметны: сайт работает, а трафик тихо утекает. По практике аудитов повторяются одни и те же промахи, и знание их закрывает половину проблем заранее.
Первая по частоте, оставленный полный запрет Disallow: / после переезда с тестового домена. Сайт исчезает из выдачи целиком, а владелец неделями ищет причину падения в чём угодно, кроме одной строки. Вторая, закрытие папок с CSS и JavaScript: робот не видит вёрстку, считает сайт неудобным для мобильных и снижает оценку.
Третья ошибка, вера в robots.txt как в защиту от посторонних глаз. Файл открыт всем, кто наберёт его адрес в браузере, поэтому закрывать через него секретные разделы, значит буквально показать их путь любому желающему. Для настоящей защиты нужен пароль или закрытие на уровне сервера, а не строка в robots.txt.
Можно ли одним файлом закрыть дубли страниц?
Дубли по GET-параметрам в Яндексе аккуратнее закрывать директивой Clean-param, а не сплошным Disallow, потому что она склеивает варианты страницы и передаёт их вес основному адресу. Прямой запрет параметров через Disallow тоже работает, но грубее и может закрыть нужные страницы вместе с мусорными.
Если дублей много и они рождаются фильтрами каталога, одним robots.txt проблему полностью не решить: подключают ещё канонические ссылки (canonical) и настройку CMS. Файл берёт на себя первый рубеж, но не заменяет полноценную работу с дублями. Как выстроить её в связке, разбираем в материалах про robots txt и как настроить robots txt.
Частые вопросы
Что такое robots txt пример простыми словами?
Robots txt пример, это образец текстового файла в корне сайта, который говорит поисковым роботам, какие страницы обходить, а какие пропускать. Файл лежит по адресу вашсайт.ру/robots.txt и состоит из простых директив вроде Disallow и Allow, а нужен для того, чтобы в поиск попадали важные страницы, а не служебный мусор.
Где должен лежать файл robots txt?
Файл robots.txt должен лежать строго в корне сайта и открываться по адресу вашсайт.ру/robots.txt, иначе поисковый робот его не найдёт. Положить его в подпапку или переименовать нельзя: работает только один файл с точным именем в корневой директории.
Как закрыть от индексации целую папку?
Чтобы закрыть папку, добавьте директиву Disallow с её путём и слешем на конце, например Disallow: /admin/, и весь раздел вместе с содержимым уйдёт из обхода. Robots txt папка закрывается одной строкой на весь каталог, а не перечислением каждого файла внутри.
Гарантирует ли robots txt, что страница не попадёт в поиск?
Нет, robots.txt не гарантирует отсутствие страницы в выдаче: он лишь просит робота не обходить её, но закрытая страница может остаться в индексе как ссылка без описания, если на неё ведут внешние ссылки. Чтобы убрать страницу из поиска наверняка, оставьте её открытой для обхода и повесьте мета-тег noindex.
Что будет, если сделать ошибку в robots txt?
Ошибка в robots.txt может закрыть от индексации нужные страницы или весь сайт и обрушить поисковый трафик, при этом внешне сайт продолжит работать. Самый частый случай, оставленный после переезда полный запрет Disallow: /, поэтому после каждой правки файл проверяют в Яндекс Вебмастере и Google Search Console.
Выводы
Robots txt пример, это не украшение, а рабочий инструмент управления индексацией, от которого напрямую зависит, какие страницы бизнеса увидит поиск. Файл простой, несколько директив, но цена ошибки высокая: одна лишняя строка закрывает каталог или весь сайт и режет заявки. Берите готовый образец как ориентир, но пути прописывайте под свою CMS и обязательно проверяйте результат в панелях вебмастеров.
Для владельца бизнеса вывод практичный: robots.txt входит в базовую техническую гигиену сайта наравне со скоростью и мобильной версией. Если сомневаетесь, что файл настроен верно, проще заказать технический аудит, чем терять трафик из-за строки, которую никто не перепроверил. Настроенный один раз с холодной головой, файл дальше тихо делает свою работу и не мешает сайту расти.
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.