蜘蛛有按时来网站，也抓取了页面挺多次数，问题是抓取的都是重复的页面，反复被抓取重复的页面，怎么让蜘蛛抓取不要重复的页面？如何才能禁止，不要重复的抓取？
应该没有什么影响吧
没有什么影响吧这个问题 如果你不想让蜘蛛抓取可以设置一下Robots
抓取就让它抓取呗，没有关系的
可以在当前页面中屏蔽蜘蛛抓取
这个应该代码里设置下吧？具体不太了解了，坐等大佬解答
让更多人参与回答
