27 人参与回答
用户145930 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!
用户131929 等 1 人赞同该回答

【官方说法】百度蜘蛛抓取流量暴增的原因

Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?

总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。

从目前追查过的抓取流量突增的case中,原因可以分为以下几种:

1,  Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取

2,  百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好,sorry

3,  已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取

4,  站点被攻击,有人仿冒百度爬虫(推荐阅读:《如何正确识别BaiduSpider》)

如果站长排除了自身问题、仿冒问题,确认BaiduSpider抓取流量过大的话,可以通过反馈中心来反馈,切记一定要提供详细的抓取日志截图。

用户154528 等 1 人赞同该回答

蜘蛛暴增的原因可能如下:

1、Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取  

2、百度其他部门(如商业、图片等)的spider在抓取,但频次数量没有控制好,sorry  

3、已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取  

4、站点被攻击,有人仿冒百度爬虫  

题主可以自行判断下

用户3311 · SEO需要的是结果,过程再完美也是没有价值的!

查看蜘蛛抓取是什么内容,然后做相应的调整

突然暴涨大概率不是好事,以为我的经验来说,你很可能被镜像了,或者被黑挂马了,一些恶意程序正利用你的目录快速繁殖页面,赶紧检查下,看看收录里是否有一些莫名的词和页面,点击进去后还会跳转到其他页面的。

用户157544 · 【小猫测试 】职业测试,心理测试,人才测评,心理健康,人格障碍等。

真没想到,百度蜘蛛还有真假之分.......

学习了。

用户157338 · 集什商城,专业的政企采购平台,倡导简单、阳光、高效的采购模式。》》》》》》

最好做详细了解,突然暴涨应该不是什么好事

用户158259 · 益星学习网,提供国内各类考试(考研,工程类,公务员,事业单位,财会等)真题,题库,视频解析,押题等资料的平台

福兮祸之所伏,祸兮福之所倚。

用户117402 · 丈哥SEO博客、网站快排、单页面、b2b推广

确定一下蜘蛛的ip段,nslookup查看一下是否是百度真实ip。如果是,也不要高兴,看看是降权蜘蛛还是沙盒蜘蛛或者其他蜘蛛。

可以看看不同IP蜘蛛的含义,作为参考。

如果是假冒蜘蛛,需要谨慎了,将对应ip屏蔽。

用户152512 · 谷歌海外推推广

一下子暴增肯定有问题的

怎么分真假蜘蛛

分析一下是不是真的蜘蛛

是百度的蜘蛛吗

查看服务器日志,分析一下蜘蛛的ip

用户146883 · 霍尔元件,霍尔开关,霍尔芯片

现在抓取频次都停了

用户153443 · 精密齿轮

学习学习

不是什么好事的

如果是在站长后台看到的,更改网站标题会有可能导致蜘蛛大量抓取

用户154528 · 一名SEO小白,请各位大神多多指教

有百度真假蜘蛛哦,百度蜘蛛突然暴涨好几倍和突然变少都不是什么好事,你看看暴涨的原因是不是百度假蜘蛛来了

建议你检查一下蜘蛛

用户133942 · 难道要对着你力竭声嘶

可能是被人家的爬虫采集了

用户143731 · 成都软装公司,精装房样板房软装,别墅装修公司,同行业换友链加Q :524595840

虚假蜘蛛很多的   ,金花软件可以删除虚假蜘蛛

检查一下蜘蛛是不是百度蜘蛛,如果不是的话就尽快屏蔽,也许是去你网站采集信息的

用户83696 · 偶尔会有些金句产生

反正不会是坏事。

用户58481 · 点这里→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→

我不知道是不是好事

用户1023 · 资深的SEO/SEM工作者和管理者

..你是什么类型的网站,有搞过活动吗~如果什么都没搞过的话~突然流量暴涨并不是好事。