最近蜘蛛来网站总是爬取重复的页面，有的页面根本不爬取，我想把一些页面加nofollow标签，加了nofollow标签影响蜘蛛正常爬取吗？不要让蜘蛛爬取重复页面有什么方法？
楼上的好骚气
不影响蜘蛛爬行
匿名用户
&
是不传递权重吧
可以弄个Robots文件，然后把你不想蜘蛛爬的页面链接写上去就行了。
不是禁止蜘蛛，是告诉蜘蛛，这个链接和这个页面没有关系
只是不传递权重，还是抓取的
Nofollow是不传递权重吧
禁止抓取是Robots，Nofollow可以抓取，但是不传递权重
Nofollow不会影响蜘蛛爬取，但是会不传递权重，想要不被蜘蛛抓取就要在Robots里面进行屏蔽
Nofollow可以不传递权重，可以用Robots
Nofollow的含义就是限制权重传递呀
可以的，至少不传递权重了
既然有明确的网页就加到Robots文件里disallow
不想抓的少的话加Robots 想抓的页面做外链
让更多人参与回答
