Поисковая машина представляет собой сложный набор программ, расположенных на тысячах серверов. Данные программы условно можно разделить на пять категорий:
• Спайдер
• Краулер
• Индексатор
• БД
• Система выдачи результатов
Спайдер
Программа, чье устройство слегка напоминает устройство браузера. Этот паук соединяется с сервером, после чего осуществляет закачку интернет – страницы. Из-за того, что спайдер может загрузить неверный html код (если он изначально неправильно прописан), сайт может ранжироваться не очень хорошо. На каждом seo семинаре об этом говориться.
Краулер
Программа, путешествующая по ссылкам в интернете и запоминающая их, для того, чтобы впоследствии отправить к ним спайдер.
Индексатор
Занимается тем, что разбивает страницы на части и анализирует их. Проще говоря, для данной программы наиболее важно, чтобы у страницы было верное оформление текста и форматирование отдельных элементов.
БД
Место, в котором хранится обработанная поисковыми системами информация о сайтах.
Система выдачи результатов
Данная программа занимается обработкой пользовательских запросов и выдачей наиболее релевантных (которые лучше всего отражают суть вопроса) страниц.