558
浏览
请教如何通过robots文件，屏蔽掉这个规则 Robots
请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
558
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
557
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
550
浏览
542
浏览
robots文件正常访问，检测失败什么原因？ Robots
网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因
533
浏览
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？
526
浏览
robots 如何屏蔽大量死链 Robots
同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……
517
浏览
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？ Robots
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？
507
浏览
488
浏览
<meta name="Robots" content="all"> 有必要加在代码里面吗 Robots 代码
<meta name="Robots" content="all"> robots文件正常的情况下，这标签还有必要出现在网页代码里吗……
