搜外网>搜外问答>问答页面

220.181.51.*IP疯狂抓取网页情况，都谁有？导致网站卡死推荐热议悬赏5元已结束

微信

220.181.51.*这个IP段

疯狂抓取网页情况，都谁有？直接导致网站带宽占满，网站访问极慢

UA是 "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"

大家都谁有这个情况？

这个IP 好像是百度，因为禁掉后，百度站长平台就抓取不到，不禁吧，带宽又不行，求解决办法，

曾经试过调整百度抓取上限制，但是不好用，还是疯狂访问

站长平台 APP 举报 本帖由用户发布，如有侵权联系删除 2020-12-17 发布1,725 次浏览

交换友情链接，就用搜外友链，方便！

27 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、百度站长蜘蛛抓取频次如何；

2、网站日志分析，这个是抓取什么内容，全都是网页吗，是抓什么内容导致网站承受不了这个需要分析下？

3、如果确定是百度蜘蛛，网站承受不了，可以百度站长反馈，请求查看下，一般百度蜘蛛会根据网站服务器压力自动进行抓取频次调整，可观察下。

QQ截图20201217095313

知乎

迟暮归来等 1 人赞同该回答

首先，百度不会为难你，除非你作弊，还是你网站本身的问题，至于蜘蛛过多来访纯扯淡，你刷了吗，就算刷了也是好事，不过不排除你网站空间的问题；跟你谈点历史。

很久以前有一个浏览器名字叫 NCSA Mosaic,紧接着也出现了一个 Mozilla 的浏览器 (Mozilla 的意思是 Mosaic 终结者),后来
Mozilla 的正式发布版本是没有风光多久，微软也推出了自己的 IE浏览器
。IE浏览器也支持框架,但是很遗憾，网站管理员们不认识它呀，因为IE的 User-Agent 没有Mozilla
所有没有人理它。后来微软抓狂了，你们不就是只认识User-Agent 头里有 Mozilla
字符的浏览器么，于是宣称自己是“兼容Mozilla”的，开始模仿Netscape，把自己标称为Mozilla/ (compatible; MSIE
Windows 95)。这样一来 IE 也有了Mozilla (其实是伪装的…) 所以那些框架也能看到了.

至于具体的你可以网上看看，我感觉你是浏览器的问题，当然还有我上述提到的问题。