搜外网>搜外问答>问答页面

怎么渲染屏蔽蜘蛛 悬赏8元 已结束

<p>每天早上一起床看一下蜘蛛统计 上百万  再一看日志都是 111.206.221.     111.206.198.   都是这两个IP段的蜘蛛  后来查了一下 是渲染蜘蛛 请问一下怎么能把这些蜘蛛给屏蔽掉呢?已经设置了robots  但是设置了就越来越多,每分钟上千个.很着急,哪位大佬给解决一下呗<br></p><p><br></p>

追加问题
    24 人参与回答
xxy徐
xxy徐 · 出售刷网站统计广告软件,无限制后台推送广告到百度统计、cnzz等统计平台,购买加Q1045049490
老星星 等 1 人赞同该回答

可以让服务器那边设置一下访问极限。
在百度站长平台里面修改一下抓取压力,让搜索引擎及时认识自己的过分行为。

一枚谷歌优化师
一枚谷歌优 · 气体灭火
茄子不饿 等 1 人赞同该回答

这种情况,还是别管了

帕齐咨询
帕齐咨询 · 高新认定,双软认证,科技创新行动计划,国家级资质认证,税务筹划等。

建议服务器设置极限,没大问题建议不动,如果太过分的话就屏蔽以及站长投诉。

行星减速机
行星减速机 · 行星减速机品牌厂家

屏蔽ip段试试

如果百度的,可以设置一下  抓取频次,降低一下

在职博士
在职博士 · 教育类站长一枚

为什么要屏蔽渲染蜘蛛的抓取频率,只要是百度的渲染蜘蛛不需要屏蔽的,如果嫌抓取过多对服务器造成压力,可以下调抓取频次

万物皆有灵
万物皆有灵 · 同步带轮

我也是,每天都固定时间段很多

茄子不饿
茄子不饿 · 佛系seo坐等下班

看了一个帖子,最好不要管,以防造成自己的损失

上上定制
上上定制 · 不一样的软件定制和开发

看对于你服务器是否造成压力影响,没有就不管了,有了就吧对应的ip段屏蔽

Viky
Viky · 八年多的SEO老司机

方法主要有以下几种,以你的服务器带宽来定,如果带宽够,你可以不用理会。

1、在Robots里把CSS JS还有图片等文件禁止抓取

2、在服务器把渲染蜘蛛全部屏蔽,也可以屏蔽ip

3、在服务器上安装防火墙进行CC防御

还是第一句话,主要看你的带宽是否满足,另外一种情况,就是这个蜘蛛是否已经把其他的蜘蛛平衡打破了,比如你渲染蜘蛛有1000频次,你其他的只有几十个甚至100多,但是你屏蔽后,你其他的蜘蛛可以立马起来,这样的话你就不得不屏蔽了。必经渲染蜘蛛真的没什么用,还占用带宽。

Bad man
Bad m · SEO网站运营技术

正常啊,你越屏蔽它越抓取。

因为蜘蛛来是有前提的呀

网站过时了吗
网站过时了 · 有事就翻老黄历

羡慕

牛逼的咋

想过来学习一下

钟景强
钟景强 · 霍尔元件,霍尔开关,霍尔芯片

我的跟你一样每次下午就来贼多

加载更多