兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 悬赏3元 已结束
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><br><br><br><br><br><br><b><font color="#c24f4a">以下是我设置的robots文件：</font></b><br><br></p>
这种不影响，也不用刻意屏蔽
用那个屏蔽不能及时拦截，切会占用很大的服务器资源。
直接使用User-Agent拦截最好。如果是宝塔的话自带就有Nginx免费防火墙可以拦截。
对服务器 压力比较小，可以不用屏蔽
一般不影响，就不用屏蔽
蜘蛛抓取不多 ，对服务器 压力比较小，可以不用屏蔽
目前蜘蛛抓取不多 ，对服务器 压力比较小，可以不用屏蔽
这种不影响，也不用刻意屏蔽
一般不影响，不用屏蔽。
请问下 屏蔽的目的是什么
为什么要屏蔽呢 对你优化有什么影响吗
设置个指定某蜘蛛禁止访问试试
User-agent:蜘蛛名
Disallow: /
一般不影响，就不用屏蔽。
蜘蛛还能影响到你网站那么严重？我觉得可能你哪里出了问题
去站长后台设置 放着也没关系的
这种不影响，也不用刻意屏蔽，这个是啥日志蜘蛛分析工具，能分享个嘛
设置个指定某蜘蛛禁止访问试试
User-agent:蜘蛛名
Disallow: /
这个没啥影响的，不需要屏蔽吧
这个没啥影响的，不需要屏蔽的
即使不屏蔽对网站也没有什么太大的影响
在服务器端设置，如果是nginx
if ($http_user_agent ~* "AhrefsBot^$"){
return 403;
}
禁止访问就可以了
apache就不知道了，应该有类似的配置
其实不用刻意去屏蔽 有抓取是好事
一般来时屏蔽效果一般，既然有蜘蛛干嘛要屏蔽呢，顺其自然就行了
