我的网站蜘蛛经常来抓取，但是抓取了都是重复页面，指定的页面反而没有被抓取，我能增加nofollow标签禁止蜘蛛抓取重复的页面吗？怎么引导蜘蛛抓取想要的页面？谢谢解答的朋友！
Nofollow标签并不是禁止蜘蛛抓取的。在Robots里设置禁止蜘蛛抓取这个页面
只要7天， 不信
增加Nofollow标签，另外外Robots里加一下
我也不清楚，随便优化都可以权一啦
让更多人参与回答
