蜘蛛反复抓取重复的页面怎么办?
通过日志查询发现,蜘蛛抓取次数多了,但是蜘蛛每次抓取都是重复的页面,怎么处理这个问题,引导蜘蛛抓取爬取页面正常?我应该怎么处理,有什么好的办法可以处理?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
通过日志查询发现,蜘蛛抓取次数多了,但是蜘蛛每次抓取都是重复的页面,怎么处理这个问题,引导蜘蛛抓取爬取页面正常?我应该怎么处理,有什么好的办法可以处理?