搜外网>搜外问答>问答页面

各位遇到过这种情况吗?前几天看有人在说。 悬赏3元 已结束

我使用的是宝塔面板。

好几个站,几个服务器!每个都安装了监控报表。

从前天第一个站开始,突然头条蜘蛛来了20000个,然后百度蜘蛛就没有了。我以前每天百度蜘蛛大概1000多个。

然后昨天,另外一个站,神马蜘蛛迅速增加,百度蜘蛛又没有了。以往每天400-500个!

今天又一个站,也是神马蜘蛛上去了,然后百度蜘蛛下去了。

这是什么问题?是宝塔的问题,还是其他什么问题?

追加问题
    7 人参与回答
Viky
Viky · 八年多的SEO老司机

服务器方面:

1、你把宝塔面板升级到最新版,新版以上有免费的防火墙,可以把不必要的搜索引擎屏蔽(这里不是说头条是不必要的),你要看抓取的蜘蛛是不是真蜘蛛。所以防火墙有必要用下的

2、你的服务器带宽,你很多个站点放一个服务器,用的是同一个带宽,拿1M带宽来举例,1M带宽差不多支撑500来个ip访问,如果服务器优化的好,可以达到5000PV,蜘蛛抓取也是占用带宽的,所以当你一个站抓取量大的时候,另一个站必然就会少。

网站方面:

1、把日记下载下来分析

2、把不用抓取的路径在Robots屏蔽掉

3、把用不到的蜘蛛屏蔽掉,比如俄罗斯蜘蛛  Ahref蜘蛛等,减少不必要的带宽浪费

4、看网站抓取频次波动(结合日志分析),如果波动太大,提交站长反馈

搜外用户
搜外用户 · 来搜外学习的一名普通用户

那么就需要注意了,然后监控报表更新一下

你应该看日志的,也有可能是宝塔的问题,看日志跟宝塔的区别大不大然后再确定是哪里的问题

宝塔面板没更新

查明了,宝塔面板没更新,然后监控报表更新一下!

施先生
施先生 · 资深的SEO/SEM工作者和管理者

你先检查一遍宝塔看看~如果不是这个问题,那么就需要注意了,是否有人恶意在刷

宝塔没有关系,网站的问题