16 人参与回答
我是过来学习的。
要是没影响的话可以不用管它
要是没影响的话可以不用管它
屏蔽掉夸克的蜘蛛才行
夸克搜索如果默认的是神马搜索的话,只需要屏蔽掉神马的蜘蛛就行了,在网站的Robots.txt文件中加上如下内容:
User-agent: YisouSpider
Disallow: /
这种方法如果不能完全屏蔽神马的爬虫,也就是蜘蛛要是不遵守robots协议,我们才要想完全屏蔽神马的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。
方法1:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^YisouSpider [NC]
RewriteRule .* - [F]
方法2:
SetEnvIfNoCase User-Agent "^YisouSpider" bad_bot
Order Allow,Deny
Allow from all