Поисковый робот паук

Поисковый робот паук ( Search Robot ) - программа  постоянно сканирующая сеть Интернет, посещают веб-страницы сайтов, считывают (индексируют) их содержимое и далее следуют по ссылкам, найденным на данной странице.

Роботы возвращается через определенные периоды времени и индексируют сайты (страницы) снова. Вся информация заносится роботом в индексы поисковой системы. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. 

Прочитано 235 раз