搜外网>搜外问答>问答页面

蜘蛛到访消耗服务器资源大嘛? 悬赏1元 已结束

蜘蛛到访也占据cpu,内存,带宽的资源吗,如果有的话,消耗资源大嘛?蜘蛛太多也会导致网站打不开的情况吗? (就是有种情况,明明没多少搜索访客,配置看上去也够用,但是蜘蛛到访很多,但是就是经常网站打不开<排除其他问题的情况下>)

追加问题
    15 人参与回答

除了流量站 其实大部分站都不影响

除了流量站 其实大部分站都不影响

lamp914
lamp9 · 擅长建站和推广,欢迎来撩

量大就有影响,量少基本没啥影响

蜘蛛抓取量大 频次高,会影响到服务器

看推推蛙说的

阿潘
阿潘 · 电信sd-wan服务商

有推推蛙的地方就有我在,跟着学习!

这个少吧,除非抓取量很大的

曾庆平
曾庆平 · SEO实战家(10年SEO经验操作百万uv多个)曾为土巴兔推广经理。

一般蜘蛛抓取出现服务器崩溃的很少,基本上是采集的ip过多才会出现网站卡且容易服务器内存大,打开非常慢,建议直接在日志分析屏蔽相应的采集ip

丫丫
丫丫 · 唵嘛咪叭咪吽

所以数量多的话基本上就是被CC或DD攻击了

简单收录网
简单收录网 · 来提交你的网站,免费做高权重免费外链

针对垃圾蜘蛛,可Robots文件disallow拒绝。

怡合达YHD
怡合达YH · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

蜘蛛抓取频次过高,抓取量太大是会影响到服务器稳定性的,如果希望不受影响可降低抓取频次

汪浩然
汪浩然 · 屌丝男

如果蜘蛛抓取频次多的话,也会占用服务器内存和cup的

海阔天空
海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

如果蜘蛛抓取频次多的话,也会占用服务器内存和cup的

楼上分析的很对哦

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、蜘蛛抓取频次高,量大,也会影响到这些;
2、首先要判断,这个抓取的蜘蛛是什么蜘蛛,蜘蛛抓取频次,各大搜索引擎都可调整,如果不想抓取那么高,就调整下就好;
3、针对垃圾蜘蛛,可Robots文件disallow拒绝。