网站属于代码自建，很多东西都不完善
可以百度一下Robots怎么写
百度站长平台有Robots文件的书写标准。一般需要禁止搜索引擎抓取的目录才写到上面。
1、Robots屏蔽是为了屏蔽不想被蜘蛛抓取爬行的文件夹和具体的页面； 2、这种可以参考下其他站点的robots文件； 3、模板建站都有自己默认屏蔽的项目，自己代码建站，看看不想让蜘蛛爬行那个文件可选择，只要不屏蔽重要的页面文件即可。
禁止搜索引擎收录一些敏感目录，如果没有，就全开放就行了。没其他什么写的
如果不知道该屏蔽哪些目录，最好就是啥都不屏蔽
不知道的可以用爱站工具生成Robots文件
让更多人参与回答
