蜘蛛爬取重复的页面太多怎么处理?
蜘蛛反复多次抓取页面,都是重复的页面,为什么大量的都是重复的页面,其它都没有被抓取,怎么处理好把蜘蛛引导一下抓取方法不要总是抓取一个页面?有没有好的办法?
6 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭