是否应该屏蔽蜘蛛抓取JS和CSS文件

8,933 次浏览

很多网站在查看日志的时候,
会发现JS、CSS文件被蜘蛛抓取的频率特别高,
于是有人便考虑在robots.txt屏蔽蜘蛛抓取js和css文件,
节省蜘蛛时间给其他页面。

国平老师认为,屏蔽了这种文件不会对网站有不利影响,相反可以促进其他页面的收录;
但同时很多人认为屏蔽了这两个文件容易被搜索引擎判断为网站作弊。

元芳们,你们怎么看?

追加问题
    13 人参与回答
最佳回答
夫唯
夫唯 · 搜外网创始人,专注SEO和小程序
俞幸兴刘小小陈红然郭扬梁永玉 等 5 人赞同该回答

以下这个说法值得商榷下:
“蜘蛛抓取一个网站的时间是一定的,限制了某文件被抓取,则它又更多时间去抓取别的网页”

如果不成立,则完全没必要屏蔽CSS和JS了。
如果成立,那要屏蔽的就不止CSS和JS了,很多没实质意义的文件都值得屏蔽。

所以,以上那个论点,值得更多探讨下。

张立博
张立博 · 搜问69号会员 电子商务从业者
刘小小郭振兴 等 2 人赞同该回答

我觉得没必要屏蔽,因为搜索引擎会知道哪些是JS、CSS,哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
至于搜索引擎抓取js和css,可能跟快照有关,因为现在网站的页面大多是用div+css来建设的,如果没有css的页面会惨不忍睹的。
所以不排除搜索引擎在试图解释JS和CSS文件,来丰富网页的内容,让搜索更精确。

搜索结果更准确,这个是个人猜测,也许反而是真正的原因。

王丹
王丹 · 3年医疗行业SEO优化!准备今年转到教育或B2C行业!
好奇心 等 1 人赞同该回答

我是屏蔽了 还有夫唯老师发现你回答好多问题都很“谨慎”
你回答时候可以加上一些你自己或者你朋友正常的操作方法啊
我记得以前听夫唯老师上课说是要屏蔽的

陈超 等 1 人赞同该回答

经过试验和跟踪数据表明:
1>被屏蔽掉的JS/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page type 蜘蛛crawl量,发现并未增加
3>如果网站大部分js/css文件里包含较多URL可以不屏蔽,蜘蛛爬取js/css文件的同时可以爬取里面的link
4>如果网站大部分js/css文件里基本上都是代码之类的,屏蔽也可,没发现明显的好处也没发现坏处

汪周围
汪周围 · 【之首】凡所答,对正规手法操作的企业站比较应验。
小龙 等 1 人赞同该回答

就以往的操作过程而言,我个人没有屏蔽过JS和css文件。

关乎网站性能方面,只是建议将js和css分别整合,css放置在头部,js放在尾部,防止网站载入的时候出现错乱和阻塞

目前好像没有哪个方面的资料说一定要屏蔽js和css。

大概来讲,遵循两点就可以了:

1:css文件整合,并通过压缩减小其体积,并放置在头部;

2:js文件整合,并通过压缩减小其体积,放置在尾部;

其他代码区域尽量不要出现单独的css和js代码就是比较符合标准的了。

虞冰焱
虞冰焱 · adSage SEO经理

屏蔽页面,对于搜索引擎来说是非常正常的事情,不然也不会出现Robots.txt这样的用户制定抓取规则的存在

刘文作
刘文作 · 火哥-SEO经理,研究竞价实战,想法很多实现没有.

你先尝试屏蔽一部分,看看网站的整体情况和日志分析
不过我建议等百度12月份调整结束了再试。

吴星
吴星 · 文艺极客QQ群 255363059

JS, css是在网页头部里设置 Cache-Control,不需要在Robots.txt里添加。

小龙
小龙 · SEO从业者,正在让自己忘记SEO

假设这句话成立:“蜘蛛抓取一个网站的时间是一定的,限制了某文件被抓取,则它又更多时间去抓取别的网页”

对于大型网站来讲,屏蔽CSS和JS文件,还是有必要的。

对于中小型网站来讲,完全没有必要。

陈超
陈超 · 游周边旅游网SEO经理,SEO经验4年,喜好研究seo细节

个人认为:

1、未来css文件会成为搜索引擎判断一个页面的参考因素;

2、也许现在搜索引擎已经能够简单的利用css文件理解页面结构了。

加载更多
该问题已经锁定, 无法新增回复