robots.txt文件怎么写？robots.txt主要写哪些东西？
如果你希望搜bai索引擎收录你网站的全部网页，则你可du以不设置Robots.txt或上传一个命zhi名为daorobots.txt的空记事本到根本目录。
上传你的robots.txt后，通过 你的域名/robots.txt 可以正常访问。 注意，robots.txt的命名，都应该是小写。
访问如：/robots.txt
都是按域名来抓的
百度 有现成的
百度一下，很简单的
让更多人参与回答
