242
浏览
robots 如何屏蔽大量死链 Robots
同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
239
浏览
205
浏览
网站业务文件没有在根目录下面是否有影响 推荐热议 Robots 404页面 根目录 404
首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……
120
浏览
paper写作网站的robots文件怎么写？ Robots
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……
