最近一直蜘蛛抓取重复的页面，每次来网站都是重复的多次，日志可以查看到一些数据，怎么引导蜘蛛爬取正确的页面不要重复的多次爬取，各位大佬在优化中有什么经验可以分享一下？谢谢了。
可以在那个页面做超链接，引导蜘蛛爬取
让更多人参与回答
