31 人参与回答
禁止IP看看
为什么屏蔽
原来这个还能屏蔽 学习到了
来看一下子
user-agent: AhrefsBot
disallow: /
查一下这个蜘蛛的ip段 禁掉ip
机器人协议
你这个有可能是属于国外蜘蛛，
一些可恶国外的爬虫并不遵循Robots规则，那么我们可以通过.htaccess来屏蔽它，代码如下（以AhrefsBot
蜘蛛为例）：
- RewriteEngine on
- RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.* [NC]
- RewriteRule .* - [F]
如果是Apache服务器，可以修改配置文件 ，这样写( /var/www/html 是根目录)：
- ...
- SetEnvIfNoCase User-Agent ^.*AhrefsBot.* bad_bot
- Order Allow,Deny
- Allow from all
- Deny from env=bad_bot
- ...
如果是Nginx服务器，可以修改配置文件( 默认是 )，这样写：
- Server{
- ...
- location / {
- if ($http_user_agent !~ AhrefsBot) {
- return 403;
- }
- }
- ...
- }
直接去屏蔽你不想要的百度ip段
根据User-agent请求信息判断是哪个蜘蛛，然后屏蔽掉不需要的。
屏蔽，屏蔽百度的ip就行了
User-agent: AhrefsBot
Disallow: /
