同样是对百度蜘蛛设限,robots文件与nofollow标签有什么样的区别?
Robots是控制这个网站的抓取权限
Robots文件是告诉蜘蛛哪些需要抓取,哪些不需要。Nofollow是告诉蜘蛛不要追踪该链接
让更多人参与回答