搜外网>搜外问答>问答页面

蜘蛛压力过大是否会导致百度平台提示抓取异常?

<p><br></p><p><br></p><p>3月份好像微调了一下TDK 给分类信息批量增加了TDK  4月份开始下降流量 关键词  现在关键词是以前的一半 以前1200+现在700多   服务器这大半年来  抓取异常都显示服务器错误。 是否由于抓取压力导致服务器异常?之前最猛的时候一天抓取98万次 基本都是discuz自带分类信息的伪静态链接 。现在抓取压力设置到了8w     索引上升了一点,但是我看分类统计 是主题内页索引减少 分类信息增加   站长之家测试 一直在减少关键词  心都碎了 该怎么办呢</p><p><br></p><p><br></p><p>服务器是win2012  UPUPW 环境包 apache php7.0</p>

追加问题
    4 人参与回答
默然
默然 · 继电保护

大站。。。。

22

抓取级别都是一秒4次  以前最疯狂的时候 2个百度蜘蛛IP段每秒8次不停的爬行服务器  CPU都冒烟了。   烦死了