搜外网>搜外问答>问答页面

百度蜘蛛爬行数量十一以后暴涨10倍, 会是什么好事吗 悬赏1元 已结束

十一前百度蜘蛛每天来200多次. 十一节后突然连续多天每天3000多次百度蜘蛛

收录目前没有明显增加, 会是什么好事吗?

追加问题
    27 人参与回答
亮健好
亮健好 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!
xxy徐 等 1 人赞同该回答

【官方说法】百度蜘蛛抓取流量暴增的原因

Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?

总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。

从目前追查过的抓取流量突增的case中,原因可以分为以下几种:

1,  Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取

2,  百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好,sorry

3,  已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取

4,  站点被攻击,有人仿冒百度爬虫(推荐阅读:《如何正确识别BaiduSpider》)

如果站长排除了自身问题、仿冒问题,确认BaiduSpider抓取流量过大的话,可以通过反馈中心来反馈,切记一定要提供详细的抓取日志截图。

家电维修 等 1 人赞同该回答

蜘蛛暴增的原因可能如下:

1、Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取  

2、百度其他部门(如商业、图片等)的spider在抓取,但频次数量没有控制好,sorry  

3、已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取  

4、站点被攻击,有人仿冒百度爬虫  

题主可以自行判断下

黄勇
黄勇 · SEO需要的是结果,过程再完美也是没有价值的!

查看蜘蛛抓取是什么内容,然后做相应的调整

突然暴涨大概率不是好事,以为我的经验来说,你很可能被镜像了,或者被黑挂马了,一些恶意程序正利用你的目录快速繁殖页面,赶紧检查下,看看收录里是否有一些莫名的词和页面,点击进去后还会跳转到其他页面的。

小猫测试
小猫测试 · 【小猫测试 】职业测试,心理测试,人才测评,心理健康,人格障碍等。

真没想到,百度蜘蛛还有真假之分.......

学习了。

jslink
jslin · 集什商城,专业的政企采购平台,倡导简单、阳光、高效的采购模式。》》》》》》

最好做详细了解,突然暴涨应该不是什么好事

KK
KK · 益星学习网,提供国内各类考试(考研,工程类,公务员,事业单位,财会等)真题,题库,视频解析,押题等资料的平台

福兮祸之所伏,祸兮福之所倚。

丈哥博客
丈哥博客 · 丈哥SEO博客、网站快排、单页面、b2b推广

确定一下蜘蛛的ip段,nslookup查看一下是否是百度真实ip。如果是,也不要高兴,看看是降权蜘蛛还是沙盒蜘蛛或者其他蜘蛛。

可以看看不同IP蜘蛛的含义,作为参考。

如果是假冒蜘蛛,需要谨慎了,将对应ip屏蔽。

我叫猫先生
我叫猫先生 · 谷歌海外推推广

一下子暴增肯定有问题的

怎么分真假蜘蛛

分析一下是不是真的蜘蛛

是百度的蜘蛛吗

查看服务器日志,分析一下蜘蛛的ip

钟景强
钟景强 · 霍尔元件,霍尔开关,霍尔芯片

现在抓取频次都停了

合发齿轮官方微信
合发齿轮官 · 精密齿轮

学习学习

加载更多