刚接触SEO不久，真的太新手了，很多都不懂，搜了很多资料都不怎么看得懂
Robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。如果希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
Robots.txt文件就是用来告诉蜘蛛哪里可以收录，哪些不能收录，自己到网上查一下用法，再根据自己网站的情况弄
就见一个TXT文本上传到根目录
网上有的格式的，找一个吧
第一行是网站地图 第二行是禁止采集程序的文件，比如PHP，*后缀的软件名
Robots是为了屏蔽页面或者文件夹不被搜索蜘蛛抓取爬行的，可以避免你的站点无用的抓取，更好抓取有用的内容
网上有格式 找一个用就行了
1、Robots是为了屏蔽页面或者文件夹不被搜索蜘蛛抓取爬行；
2、一般模板型网站都是有默认的robots文件；
3、robots看你的需求，如果并未有需封禁的，可不专门设置；
4、网上也有在线生成robots文件的在线网址；
5、回形针里面的站点可考虑操作下301集权，避免双收录影响收录和排名稳定性。
转行吧，别入坑了~
如果没有必要，也就是需要屏蔽爬行的目录，比如admin或者其他敏感目录的话，可以不写Robots文件。
让更多人参与回答
