robots文件要怎么写才合适

微信图片_20200522150716

这个是爱站网SEO工具包生成网站sitemap时自动生成的robots文件,内容是不是过于少了   

需要加什么吗 

追加问题
    2 人参与回答

这个没多大讲究,根据你网站的情况决定,有些没有必要的文件 全部都可以写里面,比如CSS JS 还有一些图片 和后台路径 都可以屏蔽掉

不需要被蜘蛛爬的就屏蔽掉,像网站后台这些