В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег <noindex>, атрибут rel=”nofollow” и мета-тег <meta name="robots" content="noindex, nofollow" />. В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег <noindex>

<noindex>...</noindex> – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега <noindex> и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег <noindex> для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

Тег <noindex> для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel="nofollow". Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

https://support.google.com/webmasters/answer/96569?hl=ru
https://yandex.ru/support/webmaster/controlling-robot/html.xml?lang=ru

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег <noindex> и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег <noindex> и атрибут rel=”nofollow” одновременно:

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel="nofollow">.

Мета-тег <meta name="robots" content="noindex, nofollow" />

Этот мета-тег устанавливается в секцию <head> на той странице, которая не должна индексироваться и выглядит это следующим образом:

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации <meta name="robots" content="х, y" />

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

  1. <meta name="robots" content="noindex, follow" /> нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
  2. <meta name="robots" content="noindex" /> выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
  3. <meta name="robots" content="noindex, nofollow" /> – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
  4. <meta name="robots" content="index, follow" /> – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
  5. <meta name="robots" content="index, nofollow" /> - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
  6. <meta name="robots" content="nofollow" /> - делает то же самое - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать <meta name="googlebot" content="noindex" />. Так говорит справка Google.

Если закрыть от индексации только для Яндекса – <meta name="yandex" content="noindex"/>. Об этом также очень подробно написано в справке Яндекс.

Как сочетать meta name="robots" с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом <meta name="robots" content="noindex, nofollow" /> и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

пример страницы в индексе закрытой в robots.txt

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию <head> мета-тег <meta name="robots" content="noindex, nofollow" />. Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Плагин Уoast пример работы

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

rds

Правильно настроив его, вы сможете видеть контент, завернутый в тег <noindex> (будет подсвечиваться):

контент noindex

Ссылки с rel="nofollow" (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег <noindex>):

nofollow

И использование мета-тега <meta name="robots" content="x, y" />:

seo-meta

Теперь вы знаете как с помощью данных методов настроить правильную индексацию страниц. Это может оказать положительное влияние на процесс раскрутки веб-сайта.

Комментарии

Комментарии