Спайдер

Программа, чье устройство слегка напоминает устройство браузера. Этот паук соединяется с сервером, после чего осуществляет закачку интернет – страницы. Из-за того, что спайдер может загрузить неверный html код (если он изначально неправильно прописан), сайт может ранжироваться не очень хорошо. На каждом seo семинаре об этом говориться.

Краулер

Программа, путешествующая по ссылкам в интернете и запоминающая их, для того, чтобы впоследствии отправить к ним спайдер.

Индексатор

Занимается тем, что разбивает страницы на части и анализирует их. Проще говоря, для данной программы наиболее важно, чтобы у страницы было верное оформление текста и форматирование отдельных элементов.

БД

Место, в котором хранится обработанная поисковыми системами информация о сайтах.

Система выдачи результатов

Данная программа занимается обработкой пользовательских запросов и выдачей наиболее релевантных (которые лучше всего отражают суть вопроса) страниц.