网站蜘蛛总是重复爬取页面，导致有些页面根本不被收录，这种情况下已经有持续一个月了，不想让蜘蛛爬取重复的页面，怎么禁止或者引导蜘蛛爬取不重复的页面？谢谢解答！
在Robots里面添加不要蜘蛛爬取的栏目，或者加Nofollow
你的文章质量好才一直抓的
蜘蛛确实不好控制，来了就是给面子了
这个不好控制
权重高，可以的
不能把，蜘蛛不是我们能控制的，除非你做Robots，直接不让蜘蛛爬进来。
说明你那个页面权重很高
让更多人参与回答
