现在其它页面都不收录，百度蜘蛛总是抓取重复的页面，收录也是重复的，我如何让蜘蛛不要抓取重复的页面？
在Robots.txt里面加入
页面加入Robots文件里就可以
在Robots.txt里面加入不想要蜘蛛抓取的页面就行了
屏蔽咯
重复的页面直接屏蔽
把重复的页面屏蔽了吧
Robots里屏蔽掉重复页面就好了
屏蔽掉不想被抓取的页面
让更多人参与回答
