625
浏览
网站日志的问题，这个URL是怎么回事呢 Robots 网站日志
<p>2021/11/15 09:07:37 [error] 17902#0: *4053076 open() "/www/wwwroot/hjgygf.com/robots.txt" failed (2: ……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
619
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
616
浏览
请教如何通过robots文件，屏蔽掉这个规则 Robots
请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……
613
浏览
robots文件正常访问，检测失败什么原因？ Robots
网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因
613
浏览
610
浏览
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？
601
浏览
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？ Robots
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？
592
浏览
robots 如何屏蔽大量死链 Robots
同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……
572
浏览
535
浏览
<meta name="Robots" content="all"> 有必要加在代码里面吗 Robots 代码
<meta name="Robots" content="all"> robots文件正常的情况下，这标签还有必要出现在网页代码里吗……
