nofollow标签能禁止蜘蛛吗?
最近蜘蛛来网站总是爬取重复的页面,有的页面根本不爬取,我想把一些页面加nofollow标签,加了nofollow标签影响蜘蛛正常爬取吗?不要让蜘蛛爬取重复页面有什么方法?
29 人参与回答
楼上的好骚气
不影响蜘蛛爬行
&
是不传递权重吧
不是禁止蜘蛛,是告诉蜘蛛,这个链接和这个页面没有关系
只是不传递权重,还是抓取的
可以的,至少不传递权重了
就不传递权重,你用的什么内核
禁止抓取
加nofollw,就不传递权重,蜘蛛也不会爬

都可以用,只是那个不传递蜘蛛权重而已
限制抓取
你在指定锚点加入不就好了
你用的什么内核