デジタルパソコン用語ライブラリ

通常はディレクトリ サービスを運営するサイトによって実行され、ダウンロードされたWebページデータはインデックスが付けられ、 高速なフルテキスト検索が可能な状態でデータベースに格納され、Webページのフルテキスト検索サービスとしてユーザーに公開されます。
　このようなロボットが定期的に巡回しているため、インターネットから広くアクセス可能な状態でWebサーバを立ち上げると、 やがてはロボットがサイト内のWebページデータを探しにやってきます。