搜外网>搜外问答>问答页面

百度蜘蛛一天抓取量暴增，搞的服务器卡的一笔，要限制吗悬赏1元已结束

微信

6月开始，一天来几百次，服务器绷不住了，是手动限制抓取频次，还是等他自己调整？

抓取频次百度蜘蛛

本帖由用户发布，如有侵权联系删除 2024-06-24 发布1,053 次浏览

10 人参与回答

如果你是静态页面，可以屏蔽一些动态页面和css及JS的抓取，如果你是动态文件，可以静态化，你这个抓取量其实不算大，增加带宽也可以解决，另外，服务器是不是被其他蜘蛛抓慢了，你仔细分析一下，一般百度增加的时候，其他蜘蛛翻倍抓，所以，屏蔽一些其他蜘蛛也有用的，不要轻易限制百度抓取频率，实在是没法在下手

用户195724 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

抓取多说不定有效果

用户240377 · 液体流量计，液体/气体检定装置厂家196-9378-6536（同微）

留意一下，看看近几天的蜘蛛数据。

用户173621 · 第三方软件测试报告

限制一下吧，要不然服务器太卡影响客户体验。

用户206886

我想要抓取都不来，一天几次抓取

用户194080

这种频次还能蹦，假的吧

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、分析下网站日志，看蜘蛛抓取的页面URL是否是你的正常页面，如果是，抓取频次的提升也是好的现象，如果你的内容量也巨大，那么对于索引收录提升会比较好；
2、如果网站内容量很少，抓取频次很高，可手动限制，也可以观察几天，正常百度蜘蛛也会自己去调整抓取频次。

用户197038 · SEO小白一枚！现在主要做医美网站优化，期望与同行多交流交流。

我感觉你这是正常现象，应该是内容增加的多吧，或者是更新比较频繁，从而导致抓取频繁的

用户222064

如何是垃圾蜘蛛可以屏蔽掉

用户156223

建议还是等蜘蛛自己调整
抓取多，效果好哦，好现象
要是一直这么多抓取，也可以提升下服务器配置

百度蜘蛛一天抓取量暴增，搞的服务器卡的一笔，要限制吗 悬赏1元 已结束