什么是robots.txt文件？robots.txt文件是用来干啥的
百度站长后台就有详细解说
爬虫按这个规则来，屏蔽了他只能回头走
规则 这么理解可以
用来屏蔽不需蜘蛛爬行的内容
<p>善用站长后台啊<br><br></p>
是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释Robots.txt是什么了。
让更多人参与回答
