屏蔽google 爬虫有影响吗?对百度有影响吗?如何设置?
谷歌和百度是两个不同搜索引擎
没影响的
google 每天抓取的太多了,网站受不了。
可以有两种方式:
User-agent:Googlebot
2通过前端页面屏蔽
<meta name="googlebot" content="noindex,Nofollow"/>
googlebot //表示谷歌搜索引擎
noindex //搜索引擎不索引此网页
nofollow //搜索引擎不继续通过此网页的链接索引搜索其它的网页
让更多人参与回答