Поисковый робот паук
Поисковый робот паук ( Search Robot ) - программа постоянно сканирующая сеть Интернет, посещают веб-страницы сайтов, считывают (индексируют) их содержимое и далее следуют по ссылкам, найденным на данной странице.
Роботы возвращается через определенные периоды времени и индексируют сайты (страницы) снова. Вся информация заносится роботом в индексы поисковой системы. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины.