31 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
清风 等 1 人赞同该回答

1、AhrefsBot是一个国外的搜索引擎蜘蛛。AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,主要是用于分析网站,这种对自身网站也是抓取浪费资源,可以选择屏蔽ip;

2、屏蔽方法2种,屏蔽ip直接,另一个Robots封禁。

AhrefsBot爬虫IP段如下:【网上分享的】

QQ截图20201109203346

robots封禁,这种不知是否管用,要是不管用可以选择封禁ip

User-agent: AhrefsBot

Disallow: /

Tênder°
Tênde · fsdfdsgfdsg

禁止IP看看

情语商城
情语商城 · 情语商城-纯绿色两性交流平台

为什么屏蔽

琪琪七七
琪琪七七 · 防雷相关

原来这个还能屏蔽 学习到了

来看一下子

渴望
渴望 · 铝灰球磨机-铝灰分离机-炒灰机-方正铝灰设备制造厂家

user-agent: AhrefsBot


disallow: /

查一下这个蜘蛛的ip段  禁掉ip

admin
admin · 【秒引百度220权重蜘蛛】代做百度文章收录,泛域名收录服务,支持淘宝交易,可测试

宝塔服务器防火墙直接屏蔽就行了,谷歌等等什么蜘蛛都可以屏蔽

QQ截图20201110095113

钟景强
钟景强 · 霍尔元件,霍尔开关,霍尔芯片

机器人协议

金泰福
金泰福 · 西安金泰福进口越野车、商务车、房车等!

屏蔽ip、Robots封禁

思思
思思 · 劳务派遣,劳务外包,人事代理,QQ2448907263

Robots设置下

Ahrefs是做英文SEO的一个非常重要的工具,可以查看出词,排名,外链信息,竞争对手分析;  不知道设置User-agent有没有用,毕竟他不是搜索引擎蜘蛛

just
just · 零代码开发

你这个有可能是属于国外蜘蛛,

一些可恶国外的爬虫并不遵循Robots规则,那么我们可以通过.htaccess来屏蔽它,代码如下(以AhrefsBot

蜘蛛为例):

  • RewriteEngine on
  • RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.* [NC]
  • RewriteRule .* - [F]

如果是Apache服务器,可以修改配置文件 ,这样写( /var/www/html 是根目录):

  • ...
  • SetEnvIfNoCase User-Agent ^.*AhrefsBot.* bad_bot
  • Order Allow,Deny
  • Allow from all
  • Deny from env=bad_bot
  • ...

如果是Nginx服务器,可以修改配置文件( 默认是 ),这样写:

  • Server{
  • ...
  •   location / {
  •     if ($http_user_agent !~ AhrefsBot) {
  •       return 403;
  •     }
  •   }
  • ...
  • }
加载更多
SEO培训招生中
155