iis和win服务器怎么屏蔽Yisouspider
Yisouspider根本不遵守robots协议啊，我昨天屏蔽了也从来不开通什么CNZZ云，一搜还是整天爬，搞的服务器负担很重
公司网站www.qichepeijian.com
2 人参与回答
小小爬虫 等 1 人赞同该回答
最简单办法是通过服务器日志查看蜘蛛的协议头，也就是User Agent。然后在为伪静态配置文件里面禁用。比如：屏蔽360蜘蛛
360蜘蛛的签名是：Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gcko) Chrome/ Safari/ 360Spider
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} “.*360Spider.*” [NC]
RewriteRule ^(.*)$ http://www.seowhy.com/
还有办法就是利用程序通过识别User Agent的内容，如果匹配到蜘蛛的就跳转到别地或者直接屏蔽。原理是一样的，换汤不换药。
楼上正解，另外，提示一下， 爬虫有一段缓冲。 根据以往经验，屏蔽了爬虫之后，仍然出现一段时间会爬取。
