浩逸科学服务平台,怎么实现蜘蛛无需登录访问,真实访客需登录访问?
网站名称:浩逸科学服务平台;网站产品页面设值了访问权限,登入才能访问、不登入不能访问,怎么设置Apache才能收录?Apache服务器中,开启Rewrite模块后,可以使用.htaccess文件来控制文件及文件夹的访问,根据这个原理,我们可以使用配置.htaccess文件禁止游客访问权限,判断蜘蛛抓取比如百度蜘蛛(Baiduspider),是否可更改代码 如下:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]
来实现蜘蛛无需登录访问,真实访客需登录访问。