现代技术——搜索引擎原理剖析及其技术发展（余 艳）

[摘 要]搜索引擎是一个集多种技术于一体的综合性系统。文章对搜索引擎的工作原理进行剖析，对搜索引擎的各个组成部分所涉及的主流技术进行了详尽的阐述。元搜索引擎作为一种新型的搜索引擎，文中对此进行了分析和比较。在了解搜索的原理，搜索引擎的技术所依赖的理论模型，以及在此领域已有的研究成果的基础上，展望了未来搜索引擎的发展趋势。

[关键词]搜索引擎 Robot搜索 排序 向量空间模型 元搜索引擎

[分类号]G354.4

随着Internet的发展，整个网络正在不断累积成一个前所未有的超级大型数据库。面对如此海量存储的信息空间，快速获取所需的信息已成为信息时代最基本的问题。搜索引擎作为Internet上必不可少的信息资源检索工具，几乎每个网络用户都在使用它来寻找自己需要的信息。搜索引擎可以为用户进行网络导航，帮助用户在数以亿计的网络信息中快速查找所需的站点或网页，筛选出符合用户需求的有用信息。它是各类网络信息处理工具中比较稳定而最具效率的部分。搜索引擎是引领我们在浩瀚的网络信息资源中寻找真正所需的重要工具。

1 搜索引擎的工作原理

搜索引擎(search engine)是利用信息挖掘系统在网际空间寻找和挖掘相关或有用信息，在此基础上建立检索数据库，并通过提供简单友好的查询界面帮助用户进行网络信息检索的信息服务系统或工具。搜索引擎实际是Internet上的一类网站，这类网站与一般的网站不同，其主要工作是自动搜寻Web服务器的信息，将信息进行分类、建立索引，然后把索引的内容存放到数据库中，便于以查询和利用的方式提交给用户。

搜索引擎主要由四部分组成，即信息采集器(Robot或Spider或Crawler)、分析索引器(Indexer)、检索器(Searcher)和查询接口(Query Interface)。当前主流的搜索引擎的组成和结构中，一般还包括挖掘器，进行Web挖掘和用户信息挖掘。

Robot也就是Spider或Crawler，从事先制定好的URL列表出发自动访问WWW网页，分析提取网页中超文本的URL，将其加入列表，并根据URL列表进一步访问其他网页。分析索引器是一个数据库，Robot采集到的网页信息全部存于其中。数据库的规模直接影响了系统查询的查全率。有些记录了网页的全部内容，对整个HTML文件的所有单词都建立索引，有的只记录网页的地址、标题、关键词、摘要等信息，还有的能处理HTML文件中的META的标记或其他不可见的特殊标记。检索器根据用户查询在索引库中快速检索出文档，并按照一定的算法进行结果页的排序；查询接口提供用户访问的查询界面和服务端的查询程序，当用户查询一个关键词时，搜索引擎将搜索数据库，找出所有与关键词相符合的网页，按照一定算法生成结果网页返回用户浏览器。

以下分别讨论搜索引擎的各个组成部分，其连接机制如图1所示(参考天网搜索引擎设计模型)。

1.1 信息采集器

信息采集器(Robot)的主要功能是从WWW上获取网页和超链结构信息。WWW结构是一个以网页为节点，超链为边的有向图，因此，Robot的运行可以抽象为一个有向图的遍历过程。当Robot运行时，只要提供少量用户配置的起始网页，Robot能根据一定的算法，获取新的网页和超链，并沿着这些超链在网络上漫游，收集信息资源。Robot对网站的访问是周期性的，一般为每月一次或数次，访问次数视网页的更新频率而定。Robot的性能很大程度上影响了搜索引擎站点的规模。

1.2 分析索引器