搜外网>搜外问答>问答页面

一个关于爬虫很玄的现象

新站上线两个月,这种情况出现过好几次了!
我写了个爬虫实时显示程序,保存一小时内所有请求并分类是哪里的爬虫。
爬虫来网站很稳定,一小时内基本都是100-130次各家爬虫请求,基本都是字节跳动和谷歌,期间时不时来点百度、搜狗、360或者必应

但是我发现好几次恐怖情况,百度偶尔会来大批量爬虫,一小时内百度爬虫量达到200-300,然后问题就出现了:百度高峰来了以后,其他爬虫就走了!

比如昨天,百度半夜一点过来了一波高峰,一直到今天,一小时内爬虫量综合才20多次(其他家)
平时都是维持在100+,只要百度不大批量来一直稳定这个数量,已经两个月了,每天都稳定!但百度每次一来,第二天其他爬虫就不来了。

上几次也是这样,而且也排除了百度高峰引起服务器访问不顺畅问题。

追加问题
    3 人参与回答
网站过时了吗 等 1 人赞同该回答

都嫌弃百度蜘蛛可能

抹跳抹躲
抹跳抹躲 · 呱呱赞小程序

都嫌弃百度蜘蛛可能

大概爬虫具有排他性.....?

出现大批量爬虫,是因为做竞价了吗?

SEO培训招生中
188