搜外网>搜外问答>问答页面

220.181.51.*IP疯狂抓取网页情况,都谁有?导致网站卡死 推荐热议 悬赏5元 已结束

220.181.51.*这个IP段

疯狂抓取网页情况,都谁有?直接导致网站带宽占满,网站访问极慢

UA是  "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"


大家都谁有这个情况?

这个IP 好像是百度,因为禁掉后,百度站长平台就抓取不到,不禁吧,带宽又不行,求解决办法,

曾经试过调整百度抓取上限制,但是不好用,还是疯狂访问

追加问题
    27 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
罗凌峰 等 1 人赞同该回答

1、百度站长蜘蛛抓取频次如何;

2、网站日志分析,这个是抓取什么内容,全都是网页吗,是抓什么内容导致网站承受不了这个需要分析下?

3、如果确定是百度蜘蛛,网站承受不了,可以百度站长反馈,请求查看下,一般百度蜘蛛会根据网站服务器压力自动进行抓取频次调整,可观察下。

QQ截图20201217095313

迟暮归来 等 1 人赞同该回答

首先,百度不会为难你,除非你作弊,还是你网站本身的问题,至于蜘蛛过多来访纯扯淡,你刷了吗,就算刷了也是好事,不过不排除你网站空间的问题;跟你谈点历史。

很久以前有一个浏览器名字叫 NCSA Mosaic,紧接着也出现了一个 Mozilla 的浏览器 (Mozilla 的意思是 Mosaic 终结者),后来
Mozilla 的正式发布版本是 没有风光多久,微软也推出了自己的 IE浏览器
。IE浏览器也支持框架,但是很遗憾,网站管理员们不认识它呀,因为IE的 User-Agent 没有Mozilla
所有没有人理它。后来微软抓狂了,你们不就是只认识User-Agent 头里有 Mozilla
字符的浏览器么,于是宣称自己是“兼容Mozilla”的,开始模仿Netscape,把自己标称为Mozilla/ (compatible; MSIE
Windows 95)。这样一来 IE 也有了Mozilla (其实是伪装的…) 所以那些框架也能看到了.

至于具体的你可以网上看看,我感觉你是浏览器的问题,当然还有我上述提到的问题。

林林
林林 · 擅长SEO优化、网站日常运营。

在百度站长平台进行压力设置

兴隆源木雕
兴隆源木雕 · 木雕雕件所有的寓意,实际上是人们对生活的一种美好的期望

是不是被d了?

可以用宝塔面板屏蔽相关ip

没看懂,看来我需要学习的还有很多

六的一笔
六的一笔 · 记得打赏

有可能是被采集了

假蜘蛛

just
just · 零代码开发

绝对不可能是百度蜘蛛,如果真的是百度蜘蛛,那就是你的网站代码有问题,导致蜘蛛出不去,劫持了百度蜘蛛,所以百度就会派更多的蜘蛛来营救,直到你服务器崩溃为止。

百度蜘蛛会根据你的网站承载设置抓取频率的,不可能会让你的网站卡,那是因为你服务器配置太差了

旷兮兮
旷兮兮 · 免备案香港云服务器、高防服务器、海外服务器主机服务商

蜘蛛抓取不会导致网站奔溃的,除非假蜘蛛

有可能是采集你网站的内容

三九问答
三九问答 · 专业的有问必答平台

记得这个IP好像是蜘蛛啊

最好分析下到底是否为百度蜘蛛,运行里面查一下,不是 就屏蔽把

假蜘蛛吧

加载更多
SEO培训招生中
188