蜘蛛抓取页面重复率太高怎么解决？
网站蜘蛛是来的次数正常，但是每次爬取页面都是重复的，如何解决蜘蛛的抓取页面重复，不让蜘蛛反复抓取页面重复，我应该怎么处理蜘蛛这块？感谢解答疑问！
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
网站蜘蛛是来的次数正常，但是每次爬取页面都是重复的，如何解决蜘蛛的抓取页面重复，不让蜘蛛反复抓取页面重复，我应该怎么处理蜘蛛这块？感谢解答疑问！
