Поисковый робот паук

Поисковый робот паук ( Search Robot ) - программа  постоянно сканирующая сеть Интернет, посещают веб-страницы сайтов, считывают (индексируют) их содержимое и далее следуют по ссылкам, найденным на данной странице. Роботы возвращается через определенные периоды времени и индексируют сайты (страницы) снова. Вся информация заносится роботом в индексы поисковой системы. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. 

Прочитано 40 раз
Другие материалы в этой категории: « Мета-тэги Ранжирование »