搜外网>搜外问答>问答页面

百度蜘蛛一天抓取量暴增,搞的服务器卡的一笔,要限制吗 悬赏1元 已结束




6月开始,一天来几百次,服务器绷不住了,是手动限制抓取频次,还是等他自己调整?

追加问题
    10 人参与回答

如果你是静态页面,可以屏蔽一些动态页面和css及JS的抓取,如果你是动态文件,可以静态化,你这个抓取量其实不算大,增加带宽也可以解决,另外,服务器是不是被其他蜘蛛抓慢了,你仔细分析一下,一般百度增加的时候,其他蜘蛛翻倍抓,所以,屏蔽一些其他蜘蛛也有用的,不要轻易限制百度抓取频率,实在是没法在下手

格栏特铝合金脚手架
格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司,量大从优!需要的联系138-2600-2184微信同步

抓取多说不定有效果

流量计 标定装置厂家
流量计 标 · 液体流量计,液体/气体检定装置厂家196-9378-6536(同微)

留意一下,看看近几天的蜘蛛数据。

奋力向前
奋力向前 · 软件测评、等保测评、web安全、代码审计等

限制一下吧,要不然服务器太卡影响客户体验。

我想要抓取都不来,一天几次抓取

这种频次还能蹦,假的吧

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、分析下网站日志,看蜘蛛抓取的页面URL是否是你的正常页面,如果是,抓取频次的提升也是好的现象,如果你的内容量也巨大,那么对于索引收录提升会比较好;
2、如果网站内容量很少,抓取频次很高,可手动限制,也可以观察几天,正常百度蜘蛛也会自己去调整抓取频次。

洒脱
洒脱 · SEO小白一枚!现在主要做医美网站优化,期望与同行多交流交流。

我感觉你这是正常现象,应该是内容增加的多吧,或者是更新比较频繁,从而导致抓取频繁的

如何是垃圾蜘蛛可以屏蔽掉

建议还是等蜘蛛自己调整
抓取多,效果好哦,好现象
要是一直这么多抓取,也可以提升下服务器配置