搜索引擎在查询时主要根据一个站点的内容与查询词的关联程度进行排序。对于一个站点的内容搜索引擎则是根据标题、关键词、描述、页面开始部分的内容以及这些内容本身之间的关联程度以及一个站点在整个网络上的关联程度来确定的。
1.基本原理
超链分析的基本原理是:在某次搜索的所有结果中,被其他网页用超链指向得越多的网页,其价值就越高,就越应该在结果排序中排到前面。
超链分析是一种引用投票机制,对于静态网页或者网站主页,它具有一定的合量性,因为这样的网页容易根据其在互联网上受到的评价产生不同的超链指向量,超链分析的结果可以反映网页的重要程度,从而给用户提供出更重要、更有价值的搜索结果。
搜索引擎,也不能真正理解网页上的内容,它只能机械地匹配网页上的文字。其收集了互联网上几千万到几十亿个网页并对网页中的每一个文字(即关键词)进行索引,建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候,所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后,这些结果将按照与搜索关键词的相关度高低,依次排列。
使用超链分析技术,除要分析索引网页本身的文字,还要分析索引所有指向该网页的链接的URL、AnchorText,甚至链接周围的文字。所以,有时候,即使某个网页A中并没有某个词,比如“软件”,但如果有别的网页B用链接“软件”指向这个网页A,那么用户搜索“软件”时也能找到网页A。而且,如果有越多网页用名为“软件”的链接指向这个网页A,或者给出这个链接的源网页越优秀,那么网页A在用户搜索“超链分析”时也会被认为相关度越高,排序也会越靠前。
2.工作步骤
搜索引擎的工作步骤有三步:从互联网上抓取网页?建立索引数据库?在索引数据库中搜索排序。
(1)从互联网上抓取网页:专门用于检索信息的Robot程序像蜘蛛(spider)一样在网络间爬来爬去,利用能够从互联网上自动收集网页的Spider系统程序,自动访问互联网,并沿着任何网页中的所有URL爬到其它网页,重复这过程,并把爬过的所有网页收集回来,随着互联网的迅速发展,使得检索所有新出现的网页变得越来越困难。因此,在Werer基础上,一些编程者将传统的Spider程序工作原理作了些改进。其设想是,既然所有网页都可能有连向其他网站的链接,那么从一个网站开始,跟踪所有网页上的所有链接,就有可能检索整个互联网。
(2)建立索引数据库:由分析索引系统程序对收集回来的网页进行分析,提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等),根据一定的相关度算法进行大量复杂计算,得到每一个网页针对页面文字中及超链中每一个关键词的相关度(或重要性),然后用这些相关信息建立网页索引数据库。