robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
User-agent: * Allow: / 里面放允许抓取的链接 可以把网站地图放上
不想让蜘蛛抓取的页面，可以放进Robots，
Robots设置一般是想要禁止抓取哪些，如果没什么要求，可以不加
没有特殊要求，没有设置过。看看其他人怎么回复
让更多人参与回答
