搜外网>搜外问答>问答页面

兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。悬赏3元已结束

微信

兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？ 以下是我设置的robots文件：

Robots 举报 本帖由用户发布，如有侵权联系删除 2021-09-22 发布1,370 次浏览

交换友情链接，就用搜外友链，方便！

31 人参与回答

seoer · seo站群

吉祥如意等 1 人赞同该回答

使用Robots.txt封禁AhrefsBot

如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为：

User-agent: AhrefsBot
Disallow: /

官方公布的AhrefsBot爬虫IP段如下：

直接封AhrefsBot IP段

如果你使用的网站是阿里云的，可以直接封AhrefsBot蜘蛛的IP段，阿里云后台有安全组可以使用，所以直接屏蔽AhrefsBot的IP段，这样是最简单粗暴，效果立竿见影的方法。

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

吉祥如意等 1 人赞同该回答

1、yisouspider蜘蛛是神马搜索的，微软必应是必应搜索的，如果是真的，这些还是有些价值，这2个搜索在国内都是可访问；
2、ahrefs蜘蛛，这种是SEO工具抓取爬行的记录，这个可屏蔽意义不大；
3、神马的蜘蛛抓取影响到你的cpu，你也不需神马搜索的流量，可屏蔽蜘蛛来访抓取，神马搜索蜘蛛屏蔽的方法网上有很多方法技巧可看看；
4、可持续观察下，如果一直影响导致服务器空间不稳，时不时打不开网站，那么可禁止，如果影响不大，可不屏蔽。