18 人参与回答
1、通用的基本判断原理就是逐个对比每个页面的数字指纹。这种方法虽然能够找出部分重复内容，但缺点在于需要消耗大量的资源，操作速度慢、效率低。
2、基于全局特征的I-Match
这种算法的原理是，将文本中出现的所有词先排序再打分，目的在于删除文本中无关的关键词，保留重要关键词。这样的方式去重效果效果高、效果明显。比如我们在伪原创时可能会把文章词语、段落互换，这种方式根本欺骗不了I-Match算法，它依然会判定重复。
3、基于停用词的Spotsig
文档中如过使用大量停用词，如语气助词、副词、介词、连词，这些对有效信息会造成干扰效果，搜索引擎在去重处理时都会对这些停用词进行删除，然后再进行文档匹配。因此，我们在做优化时不妨减少停用词的使用频率，增加页面关键词密度，更有利于搜索引擎抓取。
4、基于多重Hash的Simhash
这种算法涉及到几何原理，讲解起来比较费劲，简单说来就是，相似的文本具有相似的hash值，如果两个文本的simhash越接近，也就是汉明 距离越小，文本就越相似。因此海量文本中查重的任务转换为如何在海量simhash中快速确定是否存在汉明距离小的指纹。我们只需要知道通过这种算法，搜 索引擎能够在极短的时间内对大规模的网页进行近似查重。目前来看，这种算法在识别效果和查重效率上相得益彰。
这个说不出
百度人工智能都会搞
不好说
重复性只是其中一个指数，还看网站本身权重
不知道
