Яндекс Вебмастер – инструмент для контроля над веб-сайтом. Информация об индексации сайта (Часть 3)

Здравствуйте, уважаемые читатели и подписчики блога gsi-pngs.ru. В предыдущих частях серии «Яндекс Вебмастер» я познакомил вас с тем, какие возможности дает нам общедоступная страница этого инструмента, а также рассказал как добавить и подтвердить права на сайт в панели вебмастера Yandex. Встречайте очередную статью данной серии.

Панель Яндекс Вебмастер. Информация об индексации сайта

После того как вы добавили сайт в панель Яндекс Вебмастер и подтвердили права на него, вы можете кликнуть на названии своего сайта и перейти к сокровенным данным, которые вам любезно предоставляет этот поисковик.

 

основные данные о сайте

 

Давайте посмотрим, что для нас здесь приготовлено интересного и полезного?

Данные о ТИЦ сайта. Ну, это мы могли узнать и раньше, благо в Интернете много сервисов, показывающих этот параметр. Но здесь, правда, авторитетней, как говорится, от производителя.

Следующие показатели уже более привлекают внимание. Я имею в виду количество проиндексированных и исключенных из индекса страниц, а также входящие ссылки. Насчет исключенных намного важнее узнать, почему они попали в этот список, но пока не буду забегать вперед.

Давайте пройдемся по каждому пункту из левого меню инструментов Яндекс Вебмастер.

Индексирование сайта


2e001c21

  1. Структура сайта. Честно говоря, мне непонятно, чем этот пункт может быть полезен, но, тем не менее, расскажу о нем. Здесь показана внутренняя структура, основанная на анализе страниц вашего сайта поисковыми роботами. Причем отображаются не все разделы, а только лишь те, которые имеют один процент или более десяти подчиненных ему страниц.
  2. Страницы в поиске. Здесь вы найдете то же самое, что и в описанном выше инструменте «Проверить сайт».
  3. Входящие ссылки. Вот это уже интереснее. Из названия ясно, что данный раздел показывает количество и список бэклинков на ваш сайт. Вы можете получить эти данные для всего ресурса (по умолчанию), а можете для каждой отдельной страницы или раздела. Для этого нужно ввести соответствующий адрес в строку поиска ссылок и нажать «Показать». В случае проверки страниц всей категории нужно после слэша «/» добавить универсальный маркер – звездочку «*».

 

показать входящие ссылки

 

Для удобства работы и анализа входящих ссылок предусмотрена возможность их скачать. Для этого нужно перейти в раздел «Настройки», выбрать вкладку «Выгрузка внешних ссылок» и отметить пункт, который позволяет загрузить список ссылок архивом. Правда, доступно это станет не сразу, а в течение недели.

 

выгрузка внешних ссылок

 

Кроме внешних ссылок, в этом же разделе можно посмотреть и внутренние. Для получения данной информации нужно переключиться на соответствующую вкладку в самой верхней части раздела. Это помогает определить качество внутренней перелинковки страниц.

  1. Исключенные страницы. Как я уже говорил, важен не сам этот список, а причины, по которым страницы сюда попали. Они разделены на три группы: «Не поддерживается роботом», «Запрещено к индексированию или не существует» и «Ошибки на стороне сервера или сайта». Последнюю группу Яндекс справедливо расценивает как самую важную, и даже вынес эту информацию на главную страницу своего Вебмастера. Поэтому их необходимо отслеживать и исправлять в первую очередь.

Хочу сказать, что наличие каких-то страниц в списке исключенных из индексирования, — вполне нормальное явление. Туда попадают страницы, запрещенные для индексации в файле robots.txt, закрытые тегом <noindex> и т.д. К тому же, случается так, что при проставлении ссылки на ваш сайт на внешнем ресурсе была допущена ошибка. Тогда она будет давать код ошибки 404. Кстати, вам нужно правильно оформить эту страницу, которая будет показываться при ссылке на несуществующий материал вашего сайта. В этом случае, пользователь будет оставаться на нем и сможет сделать переход на другую страницу вашего ресурса.

А вот какие битые ссылки надо отслеживать, так это те, которые находятся внутри вашего сайта. То есть, если ссылка, которая ведет с одной страницы ресурса на другую, выдает ошибку 404, ее нужно исправить как можно быстрее, потому что их накопление непременно скажется на ранжировании сайта в негативную сторону.

  1. История (индексирования). Еще один показатель, назначение которого для меня остается загадкой. Это отчеты, показывающие динамику изменений количества запросов поискового робота к сайту, кодов ответа сервера, количества загруженных и участвующих в поиске страниц, входящих ссылок и ТИЦ. Ну, есть, так есть. Лишним, вроде не будет, а пользу, может, со временем найду.

 

Настройки индексирования

С помощью этого раздела владелец сайта или специалист, занимающийся поддержкой, может в какой-то степени повлиять на индексирование ресурса поисковыми роботами Яндекса.

  1. Анализ robots.txt. Этот пункт на 100% повторяет то, что было описано в аналогичном разделе еще в первой части рассказа про Яндекс Вебмастер. Повторяться не хочу.
  2. Файлы Sitemap. В основной своей части этот раздел повторяет описанное там же, в первой части. Только здесь можно уже непосредственно указать Яндексу, где этот файл размещен на сервере, чтобы поисковик мог правильно и в нужной последовательности индексировать все страницы и разделы.

 

файлы Sitemap

 

  1. Главное зеркало. URL страницы, который содержит уже отмирающий элемент www, и не содержащий его, считаются поисковиками как два разных адреса. А это непорядок, потому что, и ранжировать они будут ваш ресурс как разные. А зачем вам терять свои же баллы?

Для этого Яндекс предусмотрел такую возможность в своей панели вебмастеров.

 

главное зеркало

 

Кроме этого способа, существуют еще два:

  • В файле robots.txt с помощью директивы Host задается главное зеркало:

Host: gsi-pngs.ru

или

Host: www.gsi-pngs.ru

  • В файле .htaccess с помощью редирикта 301:

Если ваш сайт без www, используйте такой код для вставки:

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.3001otvet\.ru$ [NC]

RewriteRule ^(.*)$ http:// gsi-pngs.ru/$1 [R=301,L]

Если наоборот, то перенаправить на вариант с www нужно так:

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^3001otvet\.ru$ [NC]

RewriteRule ^(.*)$ http://www.gsi-pngs.ru/$1 [R=301,L]

Хочу обратить внимание, что изменять вам нужно только имя домена и доменную зону. Все слэши и другие символы нужно оставить в том положении, в котором они находятся.

Что касается меня, то я в панели Яндекса оставляю право выбора поисковому роботу, а для указания верного адреса использую robots.txt и серверное перенаправление.