这串代码的意思是，只允许所有搜索引擎抓取地图吗？这样对吗？
User-agent:*
Disallow:
Sitemap:http://www.xxxxxx.com/sitemap.xml
5 人参与回答
最佳回答
1、这是默认的，写跟没写其实没啥区别；
2、允许所有蜘蛛来访抓取页面内容，无任何需要封禁的页面，顺便带上网站地图，期望蜘蛛来访能抓取下网站地图。
这个是告诉蜘蛛哪里要趴，哪里不趴的
最下面这行是引导蜘蛛趴地图
disallow 英[ˌdɪsəˈlaʊ]，美[ˌdɪsəˈlaʊ]
vt. 不准许; 不接受; 驳回;
张口就问
告诉蜘蛛站点地图文件是哪个而已
