Clean param robots, это директива Clean-param в файле robots.txt, которая говорит Яндексу игнорировать указанные GET-параметры в адресе страницы и склеивать все её версии в один основной адрес. Она убирает дубли, которые плодят UTM-метки, сортировки и фильтры, и возвращает поисковый вес на одну каноническую страницу вместо десятков её копий.
Мы в lucky-seo продвигаем сайты бизнеса и почти в каждом техническом аудите находим сотни, а иногда тысячи страниц-дублей, порождённых параметрами в URL. Для владельца это не абстракция: дубли размывают позиции, съедают лимит обхода робота и тормозят рост заявок из поиска. В этом гайде разберём, как работает Clean-param, где её ставить, чем она отличается от Disallow и canonical, и как настроить директиву так, чтобы не выкинуть из индекса нужные страницы.
Что такое clean param robots и зачем это нужно
Clean-param (Clean parameter), это директива в robots.txt, которая указывает роботу Яндекса не учитывать перечисленные GET-параметры при обходе и индексации сайта. Робот отбрасывает такой параметр, считает адрес без него основным и не тратит ресурсы на обход одинаковых по содержанию страниц.
Проблема появляется, когда один и тот же контент открывается по десяткам адресов. Ссылки с рекламы приносят UTM-метки, каталог добавляет параметры сортировки и фильтров, партнёрские программы клеят свои идентификаторы. Для человека это одна страница, а для поисковика, это разные URL с дублирующимся содержимым.
Бизнесу это бьёт по деньгам напрямую. Поисковый вес размазывается между копиями, вместо одной сильной страницы получается стая слабых, и позиции проседают. Робот тратит краулинговый бюджет (crawl budget) на обход мусорных адресов вместо новых товаров и статей, поэтому свежие страницы дольше попадают в индекс и дольше начинают приводить заявки.
Пошаговая инструкция по использованию
Настройка Clean-param, это не «прописал строчку и забыл», а короткий управляемый процесс, где сначала находят параметры-паразиты, а потом аккуратно их закрывают. По нашему опыту проектов порядок действий важен: одна опечатка в директиве может выкинуть из индекса рабочий раздел.
- Найдите параметры-дубли: откройте Яндекс Вебмастер, раздел индексирования, и выпишите адреса с символом «?» и повторяющимся контентом.
- Отделите незначащие параметры (UTM, sort, ref, session) от значащих, которые меняют содержимое страницы.
- Откройте файл robots.txt в корне сайта или создайте его, если файла нет.
- Добавьте директиву в формате Clean-param, затем сами параметры через амперсанд, затем при желании префикс пути.
- Проверьте синтаксис в инструменте «Анализ robots.txt» внутри Яндекс Вебмастера до выкладки на сайт.
- Загрузите обновлённый robots.txt в корень и убедитесь, что он открывается по адресу вашсайт.ру/robots.txt.
- Через несколько недель вернитесь в Вебмастер и проверьте, что число дублей в индексе снижается.
Формат директивы читается так: Clean-param: utm_source&utm_medium /catalog/. Первая часть, это список незначащих параметров, вторая, необязательный путь, к которому правило применяется. Если путь не указан, правило действует на весь сайт.
Закрывайте через Clean-param только те параметры, которые не меняют содержимое страницы. UTM-метки, идентификаторы сессий и сортировку внутри одного и того же списка товаров, склеивать безопасно. Параметры, которые реально формируют другой контент, например номер страницы пагинации с уникальными товарами, трогать не стоит.
Чем clean param отличается от Disallow?
Clean-param склеивает дубли и передаёт их вес на основной адрес, а Disallow просто запрещает обход и никакого веса не переносит. Это принципиальная разница для бизнеса: при Clean-param накопленные сигналы страницы работают на вас, при Disallow робот вообще перестаёт заходить на адрес и связка сигналов рвётся.
Есть и техническая ловушка. Если закрыть параметрический адрес через Disallow, робот не сможет его обойти и не увидит указание склейки, поэтому в отчётах такие страницы иногда болтаются как «запрещены в robots.txt», но не исчезают из выдачи полностью. Clean-param решает задачу чище, потому что робот адрес обходит, понимает связь с оригиналом и убирает копию сам.
Преимущества и недостатки
Clean-param даёт быстрый и дешёвый способ навести порядок в индексе для Яндекса, но у директивы есть жёсткие ограничения, о которых бизнесу лучше знать до внедрения. Трезвая оценка плюсов и минусов бережёт от ситуации, когда «почистили дубли» и заодно уронили посещаемый раздел.
Сильная сторона очевидна. Одна строка в robots.txt закрывает разом сотни параметрических дублей, экономит краулинговый бюджет и возвращает вес на канонические страницы. Директива не требует правок в коде сайта, что важно, когда доступа к разработчику нет или релиз ждать долго. Для крупного каталога с фильтрами это часто самый быстрый путь разгрузить индекс.
Минусы столь же честные. Clean-param понимает только Яндекс, для Google она бесполезна, и там дубли закрывают другими способами. Синтаксис строгий: перепутанный порядок параметров и пути, лишний пробел или неверный регистр ломают правило молча, без явной ошибки. Директива не подходит для параметров, которые меняют контент, иначе из индекса вылетают нужные страницы.
Самая дорогая ошибка, свалить в Clean-param все параметры подряд, не разобравшись, какие из них значащие. Мы не раз чинили сайты, где через директиву закрыли параметр пагинации или фильтра с уникальными товарами, и половина каталога тихо выпала из поиска вместе с трафиком и заявками. Сначала анализ параметров, потом директива, а не наоборот.
Сравнение с аналогами
Clean-param, это не единственный инструмент борьбы с дублями: у бизнеса есть ещё атрибут canonical, мета-тег robots и директива Disallow, и каждый решает задачу по-своему. Ниже сведены основные способы, чтобы вы видели, где какой уместен и что выбрать под ваш случай.
| Способ | Кто понимает | Передаёт вес на оригинал | Когда применять |
|---|---|---|---|
| Clean-param в robots.txt | только Яндекс | да, склеивает адреса | GET-параметры, не меняющие контент (UTM, сортировка, сессии) |
| rel=canonical | Яндекс и Google | да, но как рекомендация | межплатформенная защита от дублей, работает в обеих системах |
| Disallow в robots.txt | Яндекс и Google | нет, только запрет обхода | разделы, которые вообще не нужны в поиске |
| Мета-тег robots noindex | Яндекс и Google | частично | точечное закрытие отдельных страниц из индекса |
Из таблицы видно правило выбора. Для чистки параметрических дублей именно в Яндексе Clean-param быстрее и точнее, потому что склеивает адреса и бережёт вес. Если сайт должен корректно вести себя и в Google, к Clean-param добавляют robots meta и canonical, чтобы закрыть обе поисковые системы. Полное представление о файле даёт разбор про robots txt целиком, а не только про одну директиву.
Заменяет ли clean param атрибут canonical?
Нет, Clean-param и canonical не заменяют друг друга, а работают в связке и решают задачу в разных плоскостях. Clean-param живёт в robots.txt и понятен только Яндексу, canonical прописывается в коде страницы и учитывается обеими поисковыми системами, поэтому для сайта, которому нужен и Яндекс, и Google, разумно использовать оба инструмента.
Разница ещё и в жёсткости. Clean-param робот Яндекса воспринимает как прямое указание склейки, а canonical, это рекомендация, которую поисковик может проигнорировать, если сочтёт содержимое страниц слишком разным. На практике продвижения надёжнее закрыть параметры Clean-param для Яндекса и подстраховаться canonical для Google, чем полагаться на что-то одно.
Примеры использования
Clean-param выглядит по-разному в зависимости от того, какие параметры плодит сайт, но логика записи одна. Разберём типовые случаи, с которыми бизнес сталкивается чаще всего, без выдуманных цифр и имён проектов.
Реклама и метки. Ссылки из Яндекс Директа и рассылок приносят метки вроде utm_source, utm_medium, utm_campaign. Одна и та же посадочная страница открывается по десяткам адресов с разными хвостами. Запись Clean-param: utm_source&utm_medium&utm_campaign склеивает их все в основной адрес и передаёт ему накопленный вес.
Интернет-магазин с фильтрами. Каталог добавляет к адресу сортировку и незначащие параметры отображения: sort, view, per_page. Содержимое при этом не меняется, меняется только порядок или вид карточек. Запись Clean-param: sort&view /catalog/ применяет правило только к разделу каталога и не задевает остальной сайт.
Партнёрские и реферальные ссылки. Партнёрки клеят к адресам идентификаторы вроде ref, partner, click_id. Для поисковика это разные URL с одинаковым содержимым, для вас, размытый вес. Директива Clean-param собирает их обратно в один адрес.
Отдельный честный сюжет. Бизнес нередко приходит к нам после того, как сам «почистил дубли»: закрыл в robots.txt через Disallow все адреса с «?», обрадовался и забыл. Через пару месяцев обнаруживается, что робот перестал обходить рабочие фильтры каталога, часть товарных страниц потеряла видимость, а заявки просели. Проблема была не в идее чистить дубли, а в выборе грубого инструмента вместо аккуратного. Если хотите глубже понять механику файла и связку директив, пригодится разбор про clean param в robots txt.
Советы и лайфхаки
Clean-param прощает меньше ошибок, чем кажется, поэтому несколько практических правил экономят и время, и позиции. Эти приёмы мы применяем на реальных проектах, где цена опечатки в robots.txt, это выпавший из поиска раздел.
Пишите директиву без пробелов внутри списка параметров: разделитель, это амперсанд, а не запятая и не пробел. Регистр параметров важен, utm_source и UTM_Source для робота разные строки, поэтому копируйте параметры ровно так, как они стоят в реальных адресах. Длина одной директивы ограничена, поэтому очень длинные списки лучше разбивать на несколько строк Clean-param, а не пытаться уместить всё в одну.
Перед выкладкой всегда прогоняйте файл через «Анализ robots.txt» в Яндекс Вебмастере и подставляйте реальные проблемные адреса в проверку. Инструмент показывает, будет ли конкретный URL обработан правилом. После внедрения не ждите мгновенного эффекта: переиндексация занимает недели, а не часы, и число дублей снижается постепенно.
Держите в robots.txt отдельный понятный блок с Clean-param и комментариями, за что отвечает каждая строка. Через полгода ни вы, ни новый подрядчик не вспомните, зачем закрыт конкретный параметр, а комментарий сэкономит час разбирательств и убережёт от случайного удаления рабочего правила.
Типичные ошибки и как их избежать
Большинство проблем с Clean-param, это не сложная техника, а невнимательность в синтаксисе и спешка. Разберём частые грабли, на которые бизнес и начинающие специалисты наступают чаще всего, и как их обойти.
Первая ошибка, закрывать значащие параметры. Если параметр меняет содержимое страницы, например задаёт другой товар или другой город, склеивать его через Clean-param нельзя, иначе нужные страницы схлопнутся в одну и потеряют трафик. Перед добавлением проверяйте: открывается ли по адресу с параметром и без него один и тот же контент.
Вторая ошибка, надеяться на Clean-param в Google. Директиву понимает только Яндекс, для Google она невидима, поэтому дубли там остаются. Если сайт продвигается в обеих системах, к Clean-param обязательно добавляют canonical и корректную обработку параметров на стороне сайта.
Третья ошибка, синтаксис. Перепутанный порядок «параметры, потом путь», лишние пробелы, запятые вместо амперсандов, неверный регистр, всё это ломает правило без явного предупреждения. Файл при этом выглядит рабочим, а директива не срабатывает. Спасает только проверка в Вебмастере на реальных адресах до выкладки. Полезно заранее свериться с гайдом про то, как настроить robots txt, чтобы не собирать грабли по одной.
Четвёртая ошибка, забыть про размещение файла. Clean-param работает, только если robots.txt лежит в корне сайта и отдаётся по адресу домен/robots.txt с кодом ответа 200. Файл в подпапке или отдающий ошибку, это директива, которую робот просто не увидит.
Часто задаваемые вопросы (FAQ)
Частые вопросы
Что такое Clean-param в robots.txt простыми словами?
Clean-param, это директива, которая просит робота Яндекса не обращать внимания на указанные параметры в адресе страницы и считать основным адрес без них. Она нужна, чтобы одинаковые по содержимому страницы с разными хвостами вроде UTM-меток не плодили дубли и не размывали позиции сайта.
Работает ли Clean-param в Google?
Нет, Clean-param понимает только поисковый робот Яндекса, Google эту директиву игнорирует. Для чистки параметрических дублей в Google используют атрибут canonical и правильную обработку параметров на стороне сайта, поэтому при продвижении в обеих системах инструменты комбинируют.
Чем Clean-param лучше Disallow для закрытия параметров?
Clean-param склеивает дубли и переносит накопленный вес на основной адрес, а Disallow только запрещает обход и вес никуда не передаёт. Для параметрических дублей Clean-param чище: робот адрес обходит, понимает связь с оригиналом и убирает копию, тогда как Disallow может оставить страницу в подвешенном состоянии.
Как быстро Clean-param убирает дубли из индекса?
Дубли исчезают не сразу, а по мере переобхода сайта роботом, обычно на это уходит от нескольких недель до пары месяцев. Скорость зависит от размера сайта и частоты обхода, поэтому после внедрения директиву проверяют в Яндекс Вебмастере и следят за постепенным снижением числа дублей.
Можно ли одной директивой закрыть несколько параметров?
Да, несколько незначащих параметров перечисляют в одной директиве через амперсанд, например Clean-param с utm_source, utm_medium и utm_campaign подряд. Если параметров очень много и строка становится слишком длинной, список разбивают на несколько отдельных директив Clean-param.
Что будет, если ошибиться в синтаксисе Clean-param?
При ошибке в синтаксисе директива просто не сработает, а робот продолжит обходить дубли как ни в чём не бывало, явной ошибки при этом не будет. Поэтому перед выкладкой файл проверяют в инструменте «Анализ robots.txt» в Яндекс Вебмастере на реальных проблемных адресах.
Выводы
Clean-param, это точный и дешёвый инструмент, который убирает параметрические дубли в Яндексе, экономит краулинговый бюджет и возвращает вес на канонические страницы. Для бизнеса это не абстрактная техника, а прямой рычаг: меньше дублей значит устойчивее позиции и быстрее индексация новых товаров и статей, которые приносят заявки.
Главное при внедрении, не рубить сплеча. Закрывайте только незначащие параметры, проверяйте синтаксис в Вебмастере до выкладки и помните, что Google эту директиву не видит, поэтому для полной защиты от дублей нужна связка с canonical. Если сайт крупный, с фильтрами и рекламным трафиком, чистка параметров обычно даёт заметный эффект уже в ближайшие месяцы, но только когда сделана аккуратно, а не «на всякий случай закрыл всё с вопросом».
Опубликовано в 2026 году. Проверено на актуальность: подход работает на текущих алгоритмах Яндекса и Google.