搜索引擎的预处理分为以下步骤:
1.提取文字
由于搜索引擎蜘蛛抓取的是页面的HTML代码,里面包含了大量的HTML标签、js等无法用到排名上的内容,所以搜索引擎索引首先要做的就是把其中的HTML标签、js去掉,保留剩下的页面文字内容。
2.中文分词
中文分词是中文搜索引擎特有的步骤,英文单词之间会有空格作分隔,而中文词与词之间没有分隔符号,一个句子字与词都是连在一起的。
3.去停止词
在页面内容中会存在很多对内容没有任何影响的词,比如“的”、“之”、“却”、“啊”之类。
搜索引擎在索引时会把这些词去掉,让页面内容的主题更加突出。
4.去重(为什么伪原创弊大于利)
搜索引擎为了减少搜索结果中出现的重复内容会选取页面内容中出现频率最高的词,通常会选出10个左右关于页面的关键词来计算页面的“指纹”。
5.索引
经过以上步骤之后,搜索引擎就可以提炼出可以代表一个页面内容的一些关键词,同时记录这些词在页面上的出现频率、出现次数、格式、位置等信息。
6.链接关系计算
当页面中存在链接时,搜索引擎会计算这些链接都只想哪些页面,每个页面都有哪些导入链接,链接使用了什么锚文字,这些复杂的链接指向关系形成了 网站和页面的链接权重。
这些链接关系也是百度计算权重的重要依据之一,至于百度权重和链接分析会在以后的文章中专门介绍。
7.页面质量判断
在这个阶段,搜索引擎会对页面内容质量、链接质量等作出判断,比如百度的绿萝、石榴算法。
质量判断包含很多因素,并不仅仅只是关键词的提炼与计算,或者对链接的质量度进行判断。比如在内容页中,很可能包括了用户体验、排版、广告分布、页面打开速度等因素的判断。