14.04.2017

Noindex та Nofollow: як, навіщо і для чого використовують у SEO

SEO SEO самостійно

Насамперед почнемо з того, що існує кілька принципово різних понять: тег <noindex>, атрибут rel=”nofollow” і мета-тег <meta name="robots" content="noindex, nofollow" />. У цій статті ми детально розберемося з їхніми визначеннями та призначеннями.

Що таке тег <noindex>

<noindex>...</noindex> – тег, який запропонували використовувати пошукові системи для заборони індексації вмісту, укладеного в нього. Цей тег не входить до офіційної специфікації гіпертекстової розмітки вебсторінок формату HTML.

Важливо: його розпізнають лише пошукові системи Яндекс і Рамблер. Google не належить до числа пошукових систем, які розуміють цей HTML-тег.

Що таке атрибут rel=”nofollow”

rel=”nofollow” – значення, яке забороняє пошуковим системам переходити за посиланням, у якому використовується цей атрибут.

Нижче будуть розглянуті всі приклади використання тегу <noindex> і атрибута rel=”nofollow”.

Тег <noindex> і атрибут rel=“nofollow”

Тег <noindex> для посилань

Цей тег можна використовувати для закриття посилань від індексації. Ось як це виглядатиме в коді сторінки:

<noindex><a href="http://site.com/">текст посилання</a></noindex>

Тег <noindex> для контенту

Цей тег можна використовувати і для закриття контенту від індексації. Існує два способи. У коді сторінки це виглядатиме так:

<noindex>Текст, заборонений до індексування</noindex>

<!--noindex-->Текст, заборонений до індексування<!--/noindex-->

Але варто пам’ятати, що цей тег розуміють лише пошукові системи Яндекс і Рамблер. Його властивості не поширюються на Google. Тому, якщо на вашому сайті є неякісний контент, закрити його таким способом можна лише від роботів Яндекса і Рамблера.

rel=”nofollow” для посилань

Цей атрибут найчастіше використовується оптимізаторами в тих випадках, коли вони хочуть, щоб пошукові системи не враховували наявність вихідного посилання як фактор передачі ваги, але посилання все одно буде вивчене роботом. Ось як це виглядає в коді:

<a href="http://site.com/" rel="nofollow">текст посилання</a>

Зазвичай це доречно, коли посилання проставляються автоматично, наприклад, у коментарях. Якщо ви не можете або не хочете поручитися за вміст сторінок, на які ведуть посилання з вашого сайту, слід додавати до тегів таких посилань rel="nofollow". Цей атрибут розуміють і Google-боти, і Яндекс-боти, а в своїх довідках пошукові системи пишуть наступне:

https://support.google.com/webmasters/answer/96569?hl=ru
https://yandex.ru/support/webmaster/controlling-robot/html.xml?lang=ru

Чи передає nofollow-посилання вагу

Якщо ви уважно прочитали інформацію за вказаними вище посиланнями, тепер ви знаєте, що вага через nofollow-посилання не передається. Але з практики ми можемо сміливо сказати, що наявність таких посилань у посилальному профілі – дуже корисний і досить природний фактор в очах пошукових систем. Проте мати багато вихідних посилань на своєму сайті може бути негативним фактором, навіть якщо вони закриті через цей атрибут.

Чи потрібно використовувати rel=”nofollow” для внутрішніх посилань

Щоб наскрізні посилання, наприклад, на сторінку реєстрації чи входу в особистий кабінет, не відбирали вагу в інших сторінок і не передавали її марно, можна використовувати rel=”nofollow”.

Як використовувати разом тег <noindex> і rel=”nofollow”

Ось приклад коду, коли оптимізатори використовують тег <noindex> і атрибут rel=”nofollow” одночасно:

<noindex><a href="http://site.com/" rel="nofollow">текст посилання</a></noindex>

Але цей метод повноцінно працює лише для роботів Яндекса. Google розуміє лише rel="nofollow".

Мета-тег <meta name="robots" content="noindex, nofollow" />

Цей мета-тег установлюється в секцію <head> на тій сторінці, яка не повинна індексуватися, і виглядає це так:

<head>
…
<meta name="robots" content="noindex, nofollow" />
...
</head>

Суть значень noindex і nofollow у мета-тегу залишається та сама:

Noindex – забороняє індексацію на рівні сторінки (весь контент, який на ній є), але не забороняє пошуковим роботам відвідувати її та переходити за посиланнями, які використовуються в контенті.

Nofollow – забороняє пошуковим роботам переходити за посиланнями на рівні сторінки (і за зовнішніми, і за внутрішніми).

Комбінації <meta name="robots" content="х, y" />

Є кілька випадків, коли використовують цей мета-тег на практиці. Під ці випадки є різні рішення:

<meta name="robots" content="noindex, follow" /> потрібно використовувати, якщо ви не хочете, щоб сторінка була проіндексована пошуковими системами, але роботи могли б перейти за посиланнями з цієї сторінки на інші. Наприклад, це може бути друга сторінка пагінації на сайті типу site.com/category/?page=2, на якій є посилання на наступні товари, і ви не хочете, щоб ця сторінка була проіндексована пошуковою системою.
<meta name="robots" content="noindex" /> виконує те саме. У цьому випадку ви забороняєте пошуковій системі індексувати сторінку, але переглядати її та ходити за посиланнями роботи зможуть.
<meta name="robots" content="noindex, nofollow" /> – забороняє індексувати контент на відповідній сторінці, а також забороняє роботам переходити за посиланнями.
<meta name="robots" content="index, follow" /> – дозволяє роботам індексувати сторінку та ходити за посиланнями. Такий мета-тег немає сенсу використовувати, оскільки за замовчуванням, і без нього, пошуковикам дозволено виконувати ті самі дії. Але якщо на вашому сайті він установлений і ви не збираєтеся обмежувати роботу робота, спеціально видаляти його немає сенсу.
<meta name="robots" content="index, nofollow" /> – дозволяє індексувати сторінку, але за посиланнями, які в ній містяться, робот переходити не буде.
<meta name="robots" content="nofollow" /> – робить те саме – дозволяє індексувати сторінку, але за посиланнями, які в ній містяться, робот переходити не буде.

Цей мета-тег можна використовувати як для Google, так і для Яндекса окремо

Якщо вам потрібно закрити від індексації сторінки лише для Google, можна використовувати <meta name="googlebot" content="noindex" />. Так говорить довідка Google.

Якщо закрити від індексації лише для Яндекса – <meta name="yandex" content="noindex"/>. Про це також дуже детально написано в довідці Яндекса.

Як поєднувати meta name="robots" із robots.txt і в чому принципова різниця

Деякі оптимізатори не розуміють різниці між мета-тегом <meta name="robots" content="noindex, nofollow" /> і закриттям відповідної сторінки у файлі robots.txt. Обидва способи забороняють пошуковим роботам індексувати сторінку сайту, але відмінність усе ж є:

Перший – дозволяє роботам зайти на цю сторінку, побачити мета-тег і виключити її з індексу або не індексувати.

Другий – забороняє зайти на сторінку, і якщо раптом вона раніше вже була проіндексована, вона може довго залишатися в індексі пошукових систем, навіть якщо ви її закриєте у файлі robots.txt, без права на переіндексацію, згодом ви можете бачити її в пошуку так:

приклад сторінки в індексі, закритої в robots.txt

Тому для непроіндексованих сторінок можна використовувати будь-який із варіантів.

Якщо ж сторінка вже була проіндексована, рекомендується встановити в секцію <head> мета-тег <meta name="robots" content="noindex, nofollow" />. Це виключить її з індексу та запобігатиме подальшому потраплянню в нього.

Якщо ваш сайт створений на WordPress, правильно налаштувати ці мета-теги допоможе безкоштовний плагін Yoast SEO. Приблизно ось так це виглядає:

Плагін Yoast приклад роботи

Допомогти проаналізувати наявність усіх цих елементів (і мета-тегів, і тегів, і атрибутів) у коді сторінок сайту може розширення для браузера RDS-бар:

rds