蜘蛛抓取重复的页面太多怎么办?
最近不知蜘蛛是和我开玩笑还是什么,总是抓取重复的页面,每次来网站抓取重复的页面,不对指定抓取,这样的情况有一个星期时间,反复都是这样我真的受不了怎么办?怎么引导蜘蛛抓取其它页面?
4 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭