百度蜘蛛重复抓取一个页面怎么解决?
最近一直蜘蛛抓取重复的页面，每次来网站都是重复的多次，日志可以查看到一些数据，怎么引导蜘蛛爬取正确的页面不要重复的多次爬取，各位大佬在优化中有什么经验可以分享一下？谢谢了。
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
最近一直蜘蛛抓取重复的页面，每次来网站都是重复的多次，日志可以查看到一些数据，怎么引导蜘蛛爬取正确的页面不要重复的多次爬取，各位大佬在优化中有什么经验可以分享一下？谢谢了。
