Nossos voluntários ainda não traduziram este artigo para o Português (do Brasil) . Junte-se a nós e ajude a fazer o trabalho!
A web crawler is a program, often called a bot or robot, which systematically browses the Web to collect data from webpages. Typically search engines use crawlers to build indexes.
Learn more
- Web crawler on Wikipedia