Ни для кого не секрет, что дублированный контент размещенный на интернет-ресурсе негативно влияет на ранжирование сайта в целом, поисковые системы понижают такой контент в SERP, а иногда и штрафуют сайты недобросовестных вебмастеров, вплоть до применения фильтров. Поэтому, будьте внимательны, когда «переезжаете» с одной cms системы на другую, а также при реструктуризации своего сайта, постоянно следите за индексом страниц в Google и Яндекс, так как если внутренние работы по добавлению нового контента не производились, а страниц в поисковом индексе значительно прибавилось, это может свидетельствовать о сбое CMS и генерации дубликатов на сайте. Такое случается довольно редко, но все же бывает.

На сегодняшний день есть много способов не допустить попадания дублированного контента в индекс поисковых систем (мета-тег robots, canonical, 301 редирект, robots.txt и др.), все они работают не плохо, однако компания Google пошла на встречу веб мастерам и внедрила в панель Google Webmaster Tools, отличную утилиту «Параметры URL», которая позволяет по заданным параметрам url-адреса сообщать поисковому боту Google какие страницы следует игнорировать при индексации сайта.

parametr-url

В принципе, это очень хороший способ запретить сканирование дубликатов страниц сайта, тем самым улучшив доверие к сайту со стороны поисковой системы. Этот метод так же хорош, если не хватает знаний в области программирования и как следствие вам сложно реализовать использование рекомендованных тегов (мета-тег robots, тег canonical). Конечно еще как вариант можно закрывать дублированный контент в robots.txt, но сам Google не гарантирует, что страницы заблокированные в файле robots.txt не появятся в результатах поиска. Подробнее о блокировке Url-адресов при помощи robots.txt можно ознакомится в справке Google.

Хотя, как бы не был хорош инструмент, который мы разберем в этой статье, есть у него и недостаток, ведь он работает только с поисковой системой Google и поэтому для достижения максимального результата, рекомендуется использовать ряд методов блокировки дублированных url-адресов для других ботов.

И так, вернемся к ознакомлению с утилитой «Параметры URL» в панели Google Webmaster Tools. Как же работает данный инструмент? Суть его работы заключается в следующем: как только Google bot обнаруживает одинаковые параметры url, происходит группировка всех url-адресов повторного содержания в один блок с общим параметром. На практике это выглядит так:

replas-parametr

Здесь нужно быть очень осторожным и использовать данный инструмент только в тех случаях, если известно как формируются url адреса вашего сайта, так как можно запретить индексацию большей части страниц вашего ресурса, которые в дальнейшем могут пропасть из результатов поиска. Но тем не менее, инструмент хорошо помогает исключить от индексации такие страницы, где используются одинаковые параметры такие как: page, limit, sort, order, filter и др., которые сортируют или разбивают содержимое страницы. Такие параметры еще называют «активными параметрами». Активные параметры влияют на содержание страницы, то есть могут:

  • Сортировать – сортирует содержание на основе заданного параметра. Например, отображает список товаров, отсортированных по названию, бренду или цене (пример, sort=price);
  • Ограничивать – отображает часть содержания в соответствии со значением параметра. Например, только платья размера M;
  • Указывать – задает содержание страницы, например тему, аудиторию, номер товара и т. д.;
  • Переводить – отображает содержание на языке, который задан параметром (например, lang=fr);
  • Разбивать – отображает конкретную страницу длинной статьи (например, page=2).
  • Другое – изменяет содержание любым другим способом.

Это основные действия, которые можно использовать для массовой блокировки дублированного контента на сайте. Например нам нужно, ограничить сканирование страниц пагинации, для этого следует выполнить ряд несложных действий: выбрать нужный параметр «page» (если поисковой бот уже просканировал страницы сайта) или задать его в ручную.

pages

Во всплывающем окне, можно увидеть к каким url-адреса будут применяться определенные «действия» – вкладка «Показать примеры URL».

parametrs-pages

Если примеры Url адресов нам подходят и мы хотим, чтобы бот их игнорировал при следующем сканировании сайта, выполняем настройку данного параметра. Для начала выбираем параметр содержания страницы: в нашем случае это «Да, параметр изменяет, реорганизует или ограничивает содержание страницы» – «активный параметр». Система также предлагает и «пассивный параметр», который используются для подсчета просмотров и переходов, не влияя на фактическое содержание страницы, используется очень редко и зависит от Cms системы.

pages-parametr-url

Инструмент предоставляет несколько вариантов обработки параметров:

  • На усмотрение робота Googlebot – по умолчанию (универсальный вариант).
  • Каждый URL – Робот Googlebot будет использовать значение выбранного параметра для определения уникальности URL, то есть ссылки типа index.php?route=product/product&path=18&product_id=1170 и index.php?route=product/product&path=18&product_id=1179 будут считаться разными.
  • Только URL со значением – позволяет задать конкретный параметр URL, который имеет определенной значение. Url-адреса с другими значениями будут игнорироваться.

unical-parametsrs

  • Никакие URL – запрещает Googlebot-у сканировать все URL адреса с этим параметром (используется для страниц: сортировки, фильтрации и др.).

nikakie-url-parametrs

Как видите инструмент «Параметры URL» не так уж сложен в использовании и имеет довольно гибкие настройки, что делает его довольно привлекательным в борьбе с дублями страниц сайта. На этом краткий обзор инструмента «Параметры URL» мы закончим. Не забывайте подписываться на наши новости, чтобы быть в курсе всяких «Seo-фишек». Все хорошего. И удачи в нелегкой борьбе с дублированным контентом. Оставайтесь с нами!