Поисковый робот (веб-краулер,web crawler) - специальная программа, входящая в состав каждой поисковой системы. Основная задача робота: сканирование веб-страниц, известных поисковой системе, с целью обновления данных об их содержимом, а также поиск новых страниц, еще не включенных в индекс.
A web crawler (also known as a web spider or web robot) is a program or automated script which browses the World Wide Web in a methodical, automated manner. Other less frequently used names for web crawlers are ants, automatic indexers, bots, and worms (Kobayashi and Takeda, 2000).