クロールとは、ソフトウェア等が自動的にWebページの情報を収集することをいう。
公開されているWebページに「クローラー」「ロボット（ボット）」「スパイダー」等のプログラムを利用してWebページを巡回させ、情報を複製・保存を行う。自動的にWebページのリンク構造をたどり、新しいWebページのテキストを収集することから、「ロボット型」と呼ばれる。

複製されたデータは検索エンジンのデータベースに追加される。プログラムがクロールすることにより、検索エンジンはWebページに追加・更新された情報も検索することが可能となっている。

データがクロールされない限りWebページの検索対象にはならず、Webサイトがクロールされることにより検索結果が表示されるようになる。