Недавно вышла интересная новость по части Яндекса, поэтому, думаю, есть смысл поделиться ею здесь, на страницах http://seobid.net/.

Для быстрой и качественной оптимизации сайта или блога крайне важна индексация ресурса поисковыми системами. Индексация – это сканирование страниц сайта поисковыми роботами с целью занести их (страницы ресурса) в базу поисковика (например, Яндекса), чтобы потом быстрее происходила выдача по нужному запросу в рейтинге поисковой системы. В этом процессе также могут происходить ошибки считывания, и одна их них – ошибочный ответ сервера, на котором расположен сайт, на запрос обнаружения страницы поисковым роботом. Поисковая система Яндекс предоставляет своим пользователям множество услуг именно для веб-мастеров, в частности, такую, как проверка своего сервера на запрос роботом Яндекса конкретной страницы. Называется этот полезный инструмент — «Проверка ответа сервера». Для того, чтобы проверить правильность ответа, нужно ввести адрес страницы и нажать «Проверить». Учтите, проверка возможна только на сайтах или блогах, имеющих подтверждение Яндексом.

Яндекс.Вебмастер не так давно создал раздел «История индексирования», который предоставляет информацию об ответах Вашего веб-сервера поисковому роботу в разные временные периоды, и контролировать сам процесс индексирования в его динамическом развитии. В этом разделе можно просмотреть графическое отображение запросов робота к Вашему сайту (сайтам) и увидеть количество ошибок, произошедших при установлении роботом соединения. Также здесь можно просмотреть отчётные данные с количеством ответов ресурса с разным HTTP-кодом.

Вся информация, предоставляемая «Истории индексирования» сайта, может существенно помочь при выявлении проблем, связанных с индексацией страниц сайта, таких, как:

  1. Ошибка соединения или ошибка DNS, то есть – поисковый робот Яндекса не может загрузить страницу или несколько. Это обычно происходит при неправильной настройке Вашего сервера. Помочь исправить настройки Вашего сервера сможет администратор сервера – обратитесь в техподдержку.
  2. Слишком большая нагрузка на сервер, которая может создаваться поисковым роботом Яндекса. Данная проблема может решиться с помощью директивы crawl-delay, которая задаёт определённый период времени между концом одной закачки страницы и началом закачки другой, то есть, уменьшает нагрузку на сервер. Например, если задать значение Crawl-Delay равным одной секунде, то это может и не означать, что поисковый робот будет заходить на сайт каждую секунду, но в любом случае это позволит роботу ускорить обход страниц сайта и даст ему больше временной свободы действия.

Бывают также ошибки типа 4ХХ – нерабочие ссылки, 5ХХ – внутренняя ошибка сайта и т.д. В разделе «Вебмастер» Вы можете найти более полное описание ошибок в справочнике по HTTP-кодам сервера, а также подробные рекомендации от Яндекса.