为什么nofollow掉的链接还会被百度抓取呢?能简单明了的说一下吗?
蜘蛛没有那么听话的,我站Robots禁止抓取一些动态链接,神马蜘蛛还是一个劲的抓,跟纱帽一样,纱呼呼的。
只是不传递权重而已
匿名用户
Nofollow这个标签是告诉百度,当前这个链接不是站长所推荐的,但链接还是会被百度发现的。你看百度文库、途牛旅游网不都做 nofollow了吗?一样被抓取,只是不传递权重而已。如果想要禁止百度抓取一些页面链接,就建议你去做Robots.txt了。
让更多人参与回答