广西医科大学学报JOURNALOFGUANGXIMEDICALUNIVERSITY

2008Sept;25

109

搜索引擎技术及其发展趋势

刘晓红

(广西医科大学信息中心 南宁 530021)

网络搜索引擎在网络信息资源查找中起到了重要的作用,它可以帮助人们从数以亿计的网络信息中找到自己想要的信息。搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务,搜索引擎站点也被誉为 网络门户 。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。

搜索引擎的有效性在很大程度上取决于索引的质量。1.3 检索器:检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。

检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型4种。

1.4 用户接口:用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎,高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法,以充分适应人类的思维习惯。

1 搜索引擎的基本构成和工作原理

一般来说搜索引擎都由搜索器、索引器、检索器和用户接口4个部分组成。

1.1 搜索器:搜索器的功能是在互联网中漫游,发现和搜集信息。它常常是一个计算机程序,日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息,同时因为互联网上的信息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死连接和无效连接。目前有两种搜集信息的策略:从一个起始URL集合开始,顺着这些URL中的超链(Hyperlink),以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL,但常常是一些非常流行、包含很多链接的站点(如Yahoo!)。将Web空间按照域名、IP地址或国家域名划分,每个搜索器负责一个子空间的穷尽搜索。搜索器搜集的信息类型多种多样,包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。搜索器的实现常常用分布式、并行计算技术,以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。

1.2 索引器:索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。在搜索引擎中,一般要给单索引项赋与一个权值,以表示该索引项对文档的区分度,同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。索引表一般使用某种形式的倒排表(InversionList),即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻或接近关系(proximity)。索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时,必须实现即时索引(InstantIndexing),否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能()2 搜索引擎的分类

2.1 基于目录的搜索引擎:基于目录的搜索引擎将收集到的信息分到某一个类中,典型的基于目录的搜索引擎有Ya-hoo和Magellan。目录式搜索引擎提供由网页作者呈送的因特网资源的链接集合,同时对这些资源做出评价并组织成主题目录。它使用一定的选择标准用于挑选所录用的链接资源,不同的目录式搜索引擎使用不同的选择标准。它有两种基本类型:一种是由主题专家日常建立和维护的学术性专业目录以满足科研人员的需要;另一方面是为普通大众和商业服务的商业目录。因此,一定要使用确切满足自己真正需求的那种类型的目录式搜索引擎。当检索一个范围较广的题目,并希望浏览一下与该题目相关的所推荐的网站时,目录式搜索引擎会是非常有用的。

2.2 基于机器人的搜索引擎:基于机器人的搜索引擎从一组已知的文档出发,通过这些文档的超文本链接确定新的检索点,然后用索引机器人周游这些新的检索点,标引这些检索点上的新文档,将这些新文档加入到索引数据库。以后搜索引擎可以用这个索引数据库去回答用户的提问。机器人搜索引擎不是靠人工发现和甄别信息,而是由一个被称作 蜘蛛 的计算机程序在网中爬行,依据一定的网络协议在因特网中发现、加工、整理信息,并为用户提供检索服务。

2.3 基于客户的搜索引擎:基于客户的搜索引擎用Web客户器中的周游软件,它们从一组已知的文档出发,检索WWW上的文档并传送这些文档,然后用文档中的超文本链接找到更多的文档,直到满足要求。基于客户的搜索引擎不需要第三方检索接口,因此可改善用户界面,因为基于,