当你在搜索引擎上键入一个词，搜索引擎首先要分析，然后挑选出与其相匹配的网页，多数时候会有很多的搜索结果，所以搜索引擎必须对匹配的网页进行筛选，以便使最适合的排在最上面。一旦挑选出最适合的匹配网页，搜索引擎就在屏幕上显示给搜索者。要在几秒中内做到以上的工作，需在此前做大量的准备，搜索专家称之为预先编制索引，编制索引是为了创立搜索索引库（这是一个特别的数据库）。

      搜索索引库可以被看作是一个按字母顺序排列的列表，列出了互联网每个网页上的每个词，这个索引库中有每个词的所有网页的列表。为了要在搜索索引库中建立网页的详细目录，搜索引擎使用了一种非常特别的程序：蜘蛛程序（又称爬行者程序）。蜘蛛程序从检查种子目录里的网页开始，但是一旦此程序开始，它就自己顺着链接前进来发现网站。