3876
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
2284
浏览
robots文件设置错误，修改后百度多久可以整体收录网站？ Robots
我们网站前几年因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？http://szyxkj.com.cn请大神帮忙看看，大家有什么能够加快收录的大招吗？……
2748
浏览
谁可以帮我写robots禁止搜索访问吗？100元辛苦费 Robots
www.sydiver.com 这个网站 不知道怎么设置robots，怕设置错误
3726
浏览
同一个域名下网站有中英文2个版，业务主要针对中国用户，需要用robot把英文网站的网址都屏蔽掉吗？ Robots
新手小白问各位大神，外资公司网站域名下有中英文2个版（英文版就是中文页面url内多一个/en），业务主要针对中国用户，做中文网站的关键词优化，需要编辑robots把英文网站的网址都屏蔽掉吗？没有屏蔽的话对中文网站优化影响会很大吗？……
1881
浏览
robots文件这样写对吗？ Robots
User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /config/ Disallow: /include/ Disallow: /lang/ Disallow: /pub……
