ssylki

Ни для кого не секрет, что успешное продвижение интернет-ресурса в поисковых системах целиком и полностью зависит от множества факторов. Сейчас наверно все подумали про количество качественных внешних ссылок принятых продвигаемым сайтом? К сожалению этот фактор с каждым днем оказывает все меньшее влияние на ранжирование.

Комплексный подход всегда лучше и экономней внешних ссылок!

Не буду скрывать что большинство SEO-компаний и фрилансеров до сих пор активно пользуются биржами ссылок, и достигают определенных успехов, но сегодня положительный результат в продвижении максимально зависит от корректной внутренней оптимизации, к которой можно отнести:

vnutrennyaya-optimizaciya-sajta-pod-poiskovye_3

  • разработку сайта на качественной CMS-системе;
  • грамотную структура сайта;
  • корректную настройку файлов, служащих инструкциями для поисковых ботов;
  • отсутствие дублирующегося контента;
  • и многого другого, ведь полный список не знает никто кроме самой поисковой системы.

Для того чтобы ресурс был максимально корректно разработан и готов к продвижению, на начальном этапе создания рекомендуется привлечь SEO-специалиста, который смог бы уберечь в дальнейшем от множества доработок и недочетов.

directorywordpress

В моей практике встречалось большое количество сайтов разработанных различными «умельцами», после которых ресурс просто невозможно продвигать в поисковых системах без внедрения целого списка дорогостоящих программных и SEO-доработок. Но существуют и другие сайты, созданные на основе популярных CMS-систем, например таких как Joomla или WebAsyst – не самые идеальные, но их продвижение реально воплотить в жизнь с помощью качественной настройки инструкций для роботов и оптимизации контентной части.

Так давайте и разберем эту качественную настройку инструкций, главным пунктом которой является составление правильно файла robots.txt.

Пошаговая инструкция по созданию Robots.txt

robots-txt-logo

Для начала давайте разберемся что такое файл robots.txt, для чего он нужен и где должен быть расположен. Итак robots.txt – файл, расположенный в корневой папке сайта формата TXT с набором правил для поисковых роботов, которые служат в качестве исполняемой инструкции во время индексации сайта.

Чтобы понять какие правила в нем должны быть и какие отсутствовать, необходимо разобраться в том, как поисковые боты могут перемещаться по страницам и ссылкам (внутренним и внешним), сканируя ваш сайт.

Многие SEO-специалисты пользуются уже готовыми подсказками от поисковых систем, а именно просматривают все проиндексированные страницы в поисковой выдаче, тем самым выбирая некачественные или те, которые необходимо запретить индексировать по их субъективному мнению. Это верный способ, но он не всегда может быть правильным, поскольку не все страницы могут находится в индексе той или иной поисковой системы, которые необходимо закрыть.

Как же быть в этом случает? Все предельно просто: существует множество программ и сервисов, например программа Screaming Frog SeoSpider, XEnu или сервис
mysitemapgenerator.com, с помощью которых можно спарсить абсолютно все существующие url-адреса сайта без учета текущего robots.txt (в случае, если он присутствует), после чего из этого списка все найденные URL необходимо поделить на две части:

страницы, которые должен индексировать бот;

дубли и служебные страницы, которые необходим запретить индексировать.

Из первого списка url-адресов в дальнейшем формируется карта сайта XML, по второму составляются инструкции запрещающие индексирование этих страниц.

Например:

Выделение_051

Страницы попавшие во второй список не несут полезной информации для пользователей и являются служебными, их необходимо закрыть в файле robots.txt. Для это необходимо воспользоваться следующими правилами:

1. Для закрытия страницы /login/ используем

Disallow: /login/

2. Для закрытия второй, можно использовать несколько правил, например закрыть ее по целому url-адресу или по маске (часть адреса, которая повторяется), если в полном списке присутствуют и другие похожие страницы, которые необходимо также закрыть.

Disallow: *route=

Таким образом необходимо перебрать все страницы сайта, закрыв ненужные, после чего рекомендуется проверить файл robots.txt в панели веб-мастеров Яндекс.

Сначала проверяем нужные нам страницы:

скрин192

это необходимо сделать для того, чтобы убедится в корректности составленного файла.

скрин193

После того, как мы убедились в том, что все нужные нам страницы доступны поисковому боту, необходимо проверить тот список, который мы хотим скрыть от индексирования, предварительно добавив все «мусорные» URL адреса в соответствующее поле:

скрин194

это необходимо выполнить для того, чтобы быть уверенным что, поисковый робот не будет индексировать страницы из второго списка.

скрин196

В нашем случае файл сформирован корректно и готов для размещения в корневой папке сайта.

Ну и наконец, если вы хотите спасть спокойно пока поисковые боты путешествуют по вашему сайту, после добавления проработанного файла в корень сайта рекомендуется спарсить еще раз все страницы программой или сервисом, перечисленными выше, только уже с учетом существующего robots.txt. Если в сформировавшемся списке не было найдено ни одной страницы, которую необходимо закрыть, значит ваш robots.txt идеально оптимизирован. Остается только залить корректную xml-карту на FTP и сообщить поисковым системам о списке полезных URL адресов в веб-местерах Google и Яндекс.

Подписывайтесь на наш блог, и вы узнаете еще много полезных рекомендаций и решений практических задачах в seo-оптимизации!