Web crawler は、一般的に bot や robot と呼ばれるプログラムです。crawler は自動的に Web をブラウズし、Web ページからデータを収集します。一般的に、検索エンジンは、crawler を使用してインデックスを構築します。 詳細情報 Wikipedia 上の クローラ