85
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
117
浏览
142
浏览
308
浏览
141
浏览
149
浏览
425
浏览
152
浏览
124
浏览
216
浏览
237
浏览
9026
浏览
2580
浏览
102
浏览
474
浏览
336
浏览
415
浏览
1576
浏览
2290
浏览
234
浏览
