不想让页面被蜘蛛爬取,我增加了nofollow,发现无法禁止蜘蛛,怎么设置让蜘蛛禁止不爬取的页面?多谢解答辛苦了。
不会影响,只是不传递权重
会爬取,不会收录内容
需要设置Robots
原来如此,反正加了Nofollow我就不会去做外链
Nofollow只是告诉蜘蛛,这个不用传递权重,这个不能收录 还是会爬的
学习学习,4Fang财务软就是简单实用!
Nofollow只是告诉蜘蛛不要追踪链接,蜘蛛也有自己的喜好抓取,所以有时候会控制不了,你可以在Robots文件中设置不要抓取的页面
加Nofollow是不让传递权重,设置Robots,阻止搜索引擎收录。
网站内只要有链接指向,搜索引擎就会爬,你做的工作只是告诉蜘蛛,这个不用传递权重,这个不能收录。
标签里加呗
让更多人参与回答