TF-IDF算法在SEO中的衍生应用

马龙
马龙

发布于 2016-12-23 16:43

177 浏览
0 评论

TF-IDF算法是一种统计算法,用于对检索的加权。简单的讲其作用是评估一字词对于一个文件的重要程度。

在SEO的衍生应用中,我们可以这么去理解上面这段话:在一个公司里,有10个SEOer,每个人都写了一篇关于SEO的文章,并且把这些文章都放在了一个文档集里。我们可以预料到的是,基本每篇文章中都会重复多次出现SEO这个词,意味着这十篇文章都与SEO有关。现在我要查找一篇关于网站权重的SEO文章。那么我会在搜索引擎中输入“SEO 网站权重”。

最终我找到两篇同时出现了这两个词的文章,第一篇里面出现了2次“网站权重”和10次“SEO,另一篇出现了10次“网站权重”和2次“SEO”。现在的问题是:抛开作者的素质(网站整体权重)、文章质量(页面权重)、公司内专家的推荐(高质量外链)以及其他种种因素的影响后,谁的文章应该排在搜索结果的前面?

带着这个问题,我们来学习TF-IDF算法以及TF-IDF算法在SEO中衍生的应用。

TF-IDF算法

TF-IDF的核心概念

如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。

同时,如果一篇文章中出现了我们要查询的词,我们就会认为该文章与我们要查的词有比较大的相关性。延续这种思路,就是如果一篇文档中出现要查询的词的次数越多,该文章与要查询的词之前的相关性应该越大。

我们在以往的SEO工作中,运用到的关键词密度技术,基于的就这个TF原理。

那么我们在TF-IDF算法中,先定义一个TF(t,d)表示词语t在文章d中的出现次数。

我们可以通过关键词密度查询工具来查询TF值:http://tool.chinaz.com/Tools/Density.aspx

但仅仅考虑词出现的次数是不行的,因为常常我们查询的都是两个以上的词,比如“AA BB”或者“XX YY ZZ”等形式。如果是这种形式的查询,哪个词出现的次数应该做为重要性的依据呢?这就引出了IDF来测量词的稀缺度,这里我们定义IDF为IDF(t) = log(N / DF(t))。其中:

DF(t):该词(以t为代表)在多少篇文章中出现过。查询办法是通过google搜索某一个词t,得到的搜索结果我们可以理解DF(t)。

N:总文章数。这个数值在我们SEO工作中没有什么实际的用处,因为我们不可能知道搜索引擎索引了多少文章。但是对于搜索引擎来说,N却是一个判定词权重的数据。

log:这个也不是我们SEO工作中需要考虑的数值,一般而言,log的底数可以随便设定。一般而言,我们采用+1的方式来抑制上述“网站权重 SEO”例子中第二篇出现10次“网站权重”的文章比第一篇出现2次“网站权重”的文章重要5倍的夸张情况出现。

TF-IDF的SEO应用实战

看到这里,是不是觉得很烦躁?我们来进入一段广告……呃,不,进入一段实例:

TF-IDF值 = TF×IDF(TF乘以IDF) = 1+log tf(t,d) × log(N / DF(t))

以《网站权重 SEO》和《SEO学习:什么是网站权重》这篇文章为例:

“网站权重”TF值为:w=1+log 31(次出现)=2.49

“网站权重”IDF值为:23,200,000篇/1万亿(假设值,08年数据)=4.63

“网站权重”TF-IDF值为:2.49*4.63=11.53

“SEO”TF值为:w=1+log 34(次出现)=2.53

“SEO”IDF值为:1,220,000,000篇/1万亿(假设值,08年数据)=2.91

“SEO”TF-IDF值为:2.53*2.91=7.36

我们得到了“网站权重”TF-IDF值11.53和“SEO”TF-IDF值7.36。这有什么用呢?

TF-IDF值越大,文章与索引词越相关;

只有当“网站权重”这个词权重高的页面,才有可能在“网站权重 SEO”这个搜索结果的排名上有比较好的效果;

锚文本链接需要加强“网站权重”这个词;

如果我们针对这个页面做“SEO”的锚文本,则不会有太好的表现;

在没有其他因素加权或降权的情况下,小于该页面的总计词权值18.89(11.53+7.36)的页面将排名较低,大于18.89的页面将排名比次文章高

TF-IDF在SEO应用的总结

以上只是一个TF-IDF在SEO衍生应用中的一个例子。无论是TF-IDF的计算方式,或者是该案例的假设条件,都是不严谨和准确的。但这不妨碍我们明白“关键词密度”这一SEO技术的原理。同时,也在关键词排名方面,跟竞争对手有了一个可以量化的参考。

无论百度还是谷歌又或者其他搜索引擎,TF-IDF只是其搜索排名算法中很小的一部分。同时为了打击关键词堆砌,各大搜索引擎又都会对TF值做一定的限制。SEOMoz给的一个安全的词频数为每篇页面不重复15词关键词。而不是简单的用2%-8%的关键词密度。当然这个建议是基于国外的搜索引擎。

我们在学习SEO时,的确需要了解一些技术和理论的知识,这些知识有助于我们更好的开展工作。但同时,我们也无需纠结于一些纯理论和技术方面的问题,毕竟,在SEO这个行业中,实战和经验同样无比重要。

举报 收藏
管理文章:
暂无回应