蜘蛛抓取页面重复率高怎么办?
网站蜘蛛每次抓取页面都是重复的,重复的页面抓取次数太多了,有哪些方法可以引导蜘蛛,让蜘蛛不要重复的抓取页面,网站反复的多次蜘蛛抓取内容重复,应该怎么处理?
3 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭