网站抓取不正常,高的时候一天20多万次,低的时候.... 推荐热议
<p>网站抓取不正常,高的时候一天20多万次,低的时候一天5万多次,而且偶尔错误很多,但是网站访问都是正常的...</p><p><br></p><p><br></p>
31 人参与回答
一天抓取上千上万的量是怎么做到的
我是来看大佬的
这个厉害了,我的这个太少了
是怎么做到 这么多次的,厉害。
你这个应该是大站吧,大站对安全防范要格外注意,很多人想黑进来的
看样子是大站了
很明显是服务器不稳定导致的,建议重点观察服务器稳定性。
什么站,一天抓20万次,不可能有这么多吧
解决不了大佬的问题,只能膜拜下
牛!!
厉害,我一天才十几个
找不到页面还挺多的,是不是有死链没有处理
厉害啊,我的最高也就一百多
我这个站一天20次不错了
大站啊
说明你网站质量高,蜘蛛喜欢,当然也不排除是因为你网站布局有问题,蜘蛛进来出不去,成蜘蛛池了
前来膜拜!
这什么行业流量这么大么
你这波动其实还是有规律的,应该是你网站内容比较多,所以抓取的方式不一样吧
没事的 正常更新内容就好了