Недавно в Яндекс.Вебмастере появился новый раздел – «История индексирования». Информация в нём поможет узнать, как ваш веб-сервер отвечал роботу Яндекса в разное время, а также следить за динамикой индексирования.

Вы можете посмотреть графики, отражающие число запросов поискового робота Яндекса к сайту, узнать о числе ошибок, возникших при попытке робота установить соединение, а также ознакомиться с данными о количестве ответов с различными HTTP-кодами ответов сервера.

Информация в «Истории индексирования» поможет выявить ряд проблем на сайте:
– Неправильная настройка веб-сервера – роботы Яндекса не могут загрузить страницы (например, ошибка DNS или ошибка соединения). В таких случаях мы рекомендуем обратиться к администратору веб-сервера.
– Излишняя нагрузка, которая создается роботами Яндекса. В этом случае можно воспользоваться директивой crawl-delay, чтобы задать поисковому роботу минимальный период времени между концом закачки одной страницы и началом закачки следующей.
– Краткосрочная некорректная работа сайта (внутренние ошибки – 5XX, битые ссылки – 4XX и т.п.). В Помощи вы найдете справочник по HTTP-кодам веб-сервера и рекомендации.