Clean param в robots txt: как убрать дубли страниц и не потерять трафик из Яндекса

Clean param в robots txt, это директива Яндекса, которая указывает роботу игнорировать незначащие GET-параметры в адресе страницы и склеивать такие адреса в один. Она убирает дубли из-за меток и сортировок, экономит краулинговый бюджет и не даёт весу страницы размазываться по десяткам одинаковых по содержанию URL.

Мы в lucky-seo продвигаем сайты бизнеса и почти в каждом техническом аудите находим сотни дублей, которые плодят параметры вроде utm-меток и фильтров. Эта статья разбирает Clean-param по полкам: что делает директива, как её прописать без ошибок и где она реально спасает трафик, а где бесполезна. Покажем на примерах и предупредим о граблях, на которые бизнес чаще всего наступает.

Что такое clean param в robots txt и зачем это нужно

Clean-param (clean param), это директива в файле robots.txt, которая говорит поисковому роботу Яндекса: параметры, перечисленные после неё, не влияют на содержимое страницы, поэтому адреса с ними и без них нужно считать одной страницей. Робот отбрасывает указанные параметры при обходе и объединяет весь накопленный вес и поведенческие сигналы на чистом адресе без хвоста.

Проблема, которую она решает, называется дубли по параметрам. Один и тот же товар или статья открывается по десяткам адресов: с utm-меткой из рекламы, с параметром сортировки, с идентификатором сессии, с реферальной меткой партнёра. Для человека это одна страница, для поисковика без директивы, это разные URL с одинаковым содержимым, а такие дубли размывают релевантность и тратят краулинговый бюджет (crawl budget) впустую.

Бизнесу это важно по простой причине. Пока робот ходит по бесконечным вариациям адреса с метками, он реже переобходит реально важные страницы с товарами и услугами, и они дольше не обновляются в выдаче. Clean-param возвращает роботу фокус на нужном, а весу страницы, целостность, что напрямую влияет на позиции и заявки из поиска.

Пошаговая инструкция по использованию

Настройка Clean-param, это не «дописать строчку наугад», а короткий управляемый процесс: сначала находим лишние параметры, потом описываем их синтаксисом директивы и проверяем в инструментах Яндекса. По нашему опыту проектов такой порядок защищает от самой опасной ошибки, случайно скрыть значащий параметр и выкинуть из индекса живые страницы.

Синтаксис директивы простой: Clean-param: p0[&p1&p2&..&pn] [path]. Первым идёт список параметров через амперсанд, вторым, необязательный префикс пути, к которому применяется правило.

1. Соберите список GET-параметров сайта: пройдите по фильтрам, сортировкам, меткам и посмотрите отчёт по страницам в Яндекс Вебмастере.
2. Разделите параметры на значащие и незначащие: значащий меняет содержимое страницы, незначащий (utm, sort, sessionid, ref), нет.
3. Выпишите только незначащие параметры, именно их отдают в Clean-param.
4. Добавьте директиву в robots.txt в секцию User-agent: Yandex или общую секцию User-agent: *.
5. Пропишите правило в формате Clean-param: utm_source&utm_medium&utm_campaign /, перечислив параметры через амперсанд.
6. Ограничьте область действия префиксом пути, если правило нужно только для раздела: Clean-param: sort /catalog/.
7. Проверьте файл в анализаторе robots.txt в Яндекс Вебмастере на ошибки синтаксиса.
8. Отследите через несколько недель в разделе индексирования, что дубли по параметрам уходят, а нужные страницы остаются.

Директива поддерживает до 500 символов в одном правиле, поэтому для большого числа параметров разбивайте их на несколько строк Clean-param. Регистр в именах параметров учитывается, utm_source и UTM_Source, это разные параметры для робота.

Как отличить значащий параметр от незначащего?

Значащий параметр меняет то, что видит пользователь на странице, незначащий, нет. Если по адресу с параметром и без него открывается один и тот же контент (та же карточка товара, та же статья), параметр незначащий и его отдают в Clean-param. Если параметр показывает другой товар, другую страницу пагинации или другой город, он значащий и трогать его нельзя.

Практический тест занимает минуту. Откройте адрес с параметром и без него в двух вкладках и сравните содержимое. Одинаковое, параметр можно чистить. Разное, оставляете как есть, иначе поисковик перестанет различать нужные страницы.

Преимущества и недостатки

Clean-param даёт бизнесу чистый индекс без дублей и экономит краулинговый бюджет, но работает только в Яндексе и требует аккуратности с синтаксисом. Трезвый взгляд на плюсы и минусы бережёт от ошибок, которые дороже, чем сами дубли.

Главный плюс, это склейка веса и сигналов на одном адресе. Поведенческие факторы, ссылочный вес и релевантность не размазываются по вариациям URL, а собираются на чистой странице, что усиливает её позиции. Второй плюс, экономия краулингового бюджета: робот перестаёт тратить обходы на бесконечные метки и чаще переобходит важные страницы.

Минусы честные. Директива понятна только Яндексу, для Google она бесполезна, поэтому Google закрывают отдельно через канонические адреса. Синтаксис чувствителен к регистру и легко ломается лишним символом. Самое неприятное, при ошибке легко скрыть значащий параметр и потерять из индекса реальные страницы вместе с трафиком по ним.

Сравнение с аналогами

Clean-param, это не единственный способ бороться с дублями по параметрам: у Disallow в robots.txt и канонических адресов другая логика и другая зона применения. Ниже сведены основные методы, чтобы вы видели, что и когда выбирать.

Метод	Для кого работает	Что делает	Передаёт вес на чистый URL
Clean-param	только Яндекс	склеивает адреса с незначащими параметрами в один	да, вес собирается на чистом адресе
rel canonical	Яндекс и Google	указывает главный адрес, дубль остаётся доступен	да, вес переходит на канонический адрес
Disallow в robots.txt	Яндекс и Google	запрещает обход адреса роботом	нет, вес не передаётся, страница просто не обходится
Настройка параметров URL	зависит от инструмента поисковика	задаёт правила обработки параметров в панели вебмастера	частично, зависит от выбранного режима
Meta noindex	Яндекс и Google	убирает страницу из индекса, но обход остаётся	нет, вес не собирается на чистом адресе

Из таблицы видно главное правило выбора. Для Яндекса и незначащих параметров лучший вариант, это Clean-param, потому что он и убирает дубли, и сохраняет вес. Для кросс-поисковой склейки берут rel canonical, он понятен обоим поисковикам. Disallow подходит, когда страницу вообще не нужно обходить, но он не передаёт накопленный вес, поэтому для склейки товарных дублей он проигрывает Clean-param.

Чем clean param отличается от disallow?

Clean-param склеивает адреса и передаёт их вес на чистый URL, а Disallow просто запрещает роботу обход адреса без передачи веса. Разница принципиальная: с Clean-param накопленные ссылки и поведенческие сигналы дублей достаются главной странице, а с Disallow они теряются, потому что робот к таким адресам вообще не заходит.

Отсюда выбор по ситуации. Если по адресу с параметром открывается тот же контент и по нему могли собраться сигналы (например, на страницу с utm-меткой вели из рекламы), берите Clean-param. Если страница мусорная и обходить её не нужно в принципе, подойдёт Disallow. Подробнее про запрещающие правила есть в материале про закрывающий robots txt.

Примеры использования

Clean-param выглядит по-разному в зависимости от того, какие параметры плодит сайт, но логика записи одна. По практике проектов покажем типовые случаи без выдуманных цифр, чтобы вы могли перенести шаблон на свой сайт.

Самый частый случай, это рекламные utm-метки. Из Яндекс Директа и рассылок люди приходят на адреса вида /tovar?utm_source=yandex&utm_medium=cpc, и без директивы каждый такой адрес, это дубль карточки. Правило Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content / склеивает все рекламные варианты с чистой карточкой.

Второй случай, параметры сортировки и отображения в каталоге. Адреса вида /catalog?sort=price и /catalog?view=grid показывают тот же список товаров в другом порядке, то есть по содержимому это одна страница. Правило Clean-param: sort&view /catalog/ убирает эти дубли только внутри каталога, не затрагивая остальной сайт.

Третий случай, идентификаторы сессий и реферальные метки. Параметры вроде sessionid или ref не меняют контент, но создают уникальный адрес на каждого посетителя, что раздувает число дублей до бесконечности. Правило Clean-param: sessionid&ref / возвращает роботу один чистый адрес.

Отдельный честный сюжет из практики. Бизнес часто приходит после того, как уже обжёгся: кто-то по совету закрыл все параметры через Disallow, надеясь убить дубли, а по факту робот перестал обходить страницы с полезными метками и потерял накопленный по ним вес. Дубли ушли, но вместе с ними просели позиции. Правильным решением был Clean-param, который склеил бы адреса и сохранил сигналы. Если хотите глубже разобраться в самом файле, пригодится разбор про robots txt и инструкция, как настроить robots txt.

Советы и лайфхаки

Clean-param прощает мало ошибок, поэтому пара правил из практики экономит недели ожидания переиндексации. Ирония в том, что чаще всего страницы теряют не из-за сложных параметров, а из-за банальной опечатки в имени.

Первое, проверяйте регистр. Робот различает utm_source и Utm_Source, поэтому выписывайте параметр ровно так, как он стоит в реальных адресах сайта. Второе, не смешивайте в одном правиле параметры из разных разделов с разной логикой, разбивайте их на отдельные строки Clean-param с точным префиксом пути. Так правило читается и не задевает лишнего.

Третье, держите директиву в актуальном состоянии. Появился новый источник трафика с новой меткой или добавили фильтр в каталог, обновите Clean-param, иначе свежие дубли снова начнут копиться. И самое важное перед выкаткой, проверяйте файл в анализаторе robots.txt Яндекс Вебмастера: он подсветит синтаксические ошибки до того, как их увидит робот.

Типичные ошибки и как их избежать

Большинство проблем с Clean-param, это не сложные баги, а невнимательность при составлении правила. Разберём частые ошибки бизнеса, чтобы вы не повторяли их на своём сайте.

Ошибка первая, чистка значащего параметра. В Clean-param попадает параметр пагинации, фильтра или выбора города, который формирует отдельную страницу. Итог, десятки уникальных страниц склеиваются в одну и выпадают из индекса вместе с трафиком. Лечится проверкой контента до добавления параметра.

Ошибка вторая, путаница с синтаксисом. Параметры разделяют не амперсандом, а запятой или пробелом, ставят лишний слэш, забывают про регистр. Робот не понимает кривое правило и просто игнорирует его, а вебмастер думает, что дубли уже склеены. Лечится проверкой в анализаторе Яндекс Вебмастера.

Ошибка третья, надежда на Clean-param для Google. Директива в Google не работает, поэтому дубли по параметрам там остаются, если не закрыть их каноническими адресами. Лечится параллельной настройкой rel canonical для кросс-поисковой чистоты. Полезно также свериться с общим шаблоном в статье про ru robots txt.

Часто задаваемые вопросы (FAQ)

Выводы

Clean-param, это точечный инструмент технического SEO, который убирает дубли по незначащим параметрам в Яндексе и собирает вес страницы на одном чистом адресе. Для бизнеса это не абстрактная техника, а прямая экономия краулингового бюджета и защита позиций важных страниц от размывания метками и сортировками. Директива проста в записи, но чувствительна к ошибкам, поэтому её добавляют осознанно, отделив значащие параметры от незначащих.

Главное, не путать Clean-param с Disallow и не рассчитывать на неё в Google: там дубли закрывают каноническими адресами. Начинайте с ревизии параметров сайта, чистите только те, что не меняют контент, и проверяйте файл в Яндекс Вебмастере перед выкаткой. Тогда чистый индекс работает на вас, а не против бюджета. Если параметров много и есть сомнения, техническую часть безопаснее доверить специалисту после аудита сайта.

Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.