<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>
可以这样写，并没有数量限制
可以的，没有什么问题
网站地图主要就是用来提交的啊
Allow: /
一般都是提交一个XML或者txt的
你这个上面不允许抓取的部分写少了，建议把后台，注册，登陆，JS，ccs路径都屏蔽一下，一般网站里面的联系我们，关于我们，或者企业简介页面也可以都加上Nofollow，然后在这里屏蔽一下，作用就不多说了
另外如果你是有独立的移动站的不建议把移动端和pc的写到一起
可以的
1、网站地图只提交一种形式即可xml，不建议放那么多，无太大意义；
2、404页面一般也不会被收录，写或者不写都没关系；
3、Robots屏蔽的功能是为了节省蜘蛛的爬行时间，屏蔽不想让蜘蛛爬行抓取的JS或者一些无用的页面；
4、百度站长有robots是否生效检测，可检测下。
可以，没有问题
不需要这么多类型吧
太多了，一种就可以了
我直接删除了这个文件
随意写。Robots的目标是给蜘蛛做规则和引路。
网站地图提交一种就可以了，提交那么多不同类型的干啥？
让更多人参与回答
