各位大佬有做过，解释一下谢谢大佬了。
指定蜘蛛抓取哪些页面就好了
哪些页面想让蜘蛛抓取的就写进去啊
我没能理解你这个问题，Robots的作用无非是告诉搜索引擎哪些页面可以抓取，那些不可以抓取。这个与采集或者聚合页面没有任何关系。不知道你说的是不是网站地图Sitemap
不太了解，没做过
让更多人参与回答
