搜索引擎技术原理

为管理程序负责任务的分配和结果的处理，多个分布式的蜘蛛程序从管理程序活动任务，然后将获取的资源作为结果返回，并重新获得任务。

2.利用索引器从搜索器获取的资源中抽取信息，并建立利于检索的索引表

当用网络蜘蛛获取资源后，需要对这些进行加工过滤，去掉控制代码及无用信息，提取出有用的信息，并把信息用一定的模型表示，使查询结果更为准确。Web上的信息一般表现为网页，对每个网页，须生成一摘要，此摘要将显示在查询结果的页面中，告诉查询用户各网页的内容概要。模型化的信息将存放在临时数据库中，由于web数据的数据量极为庞大，为了提高检索效率，须按照一定规则建立索引。不同搜索引擎在建立索引时会考虑不同的选项，如是否建立全文索引，是否过滤无用词汇，是否使用meta信息等。

3.检索及用户交互

这部分的主要内容包括：用户查询（query）理解，即最大可能贴近的理解用户通过查询串想要表达的查询目的，并将用户查询转换化为后台检索使用的信息模型；根据用户查询的检索模型，在索引库中检索出结果集；结果排序：通过特定的排序算法，对检索结果集进行排序。由于web数据的海量性和用户初始查询的模糊性，检索结果集一般很大，而用户一边不会有足够的耐性逐个查看所有的结果，所以怎样设计结果集的排序算法，把用户感兴趣的结果排在前面就十分重要。

(三) 、web搜索引擎的最新动态

当前，搜索引擎技术已经趋于成数，用户满意度也保持在一个可以接受的水平。在信息搜集技术，索引建立技术，检索技术和结果集排序技术方面，最近几年，Google创造性的提出page rank技术，并把他用于结果排序。而搜索引擎的研究与信息集成逐渐融合，在这方面的研究主要集中在两个方面：查询扩展（query expansion）和结果集的动态分类。

二、Google技术

（一）Google技术概论

Google 秉持开发“完美的搜索引擎”的信念。所谓完美的搜索引擎，就如公司创始人之一 Larry Page 所定义的那样，可以“确解用户之意，切返用户之需”。为了实现这一目标，Google 坚持不懈地追求创新，而不受现有模型的限制。因此，Google 开发了自己的服务基础结构和具有突破性的 Page Rank技术，使得搜索方式发生了根本性变化。

Google 的开发人员从一开始就意识到：要以最快的速度提供最精确的搜索结果，则需要一种全新的服务器设置。大多数的搜索引擎依靠少量大型服务器，这样，在访问高峰期速度就会减慢，而 Google 却利用相互链接的 PC 来快速查找每个搜索的答案。 这一创新技术成功地缩短了