搜外网>搜外问答>问答页面

蜘蛛爬取重复的页面太多怎么处理?

蜘蛛反复多次抓取页面,都是重复的页面,为什么大量的都是重复的页面,其它都没有被抓取,怎么处理好把蜘蛛引导一下抓取方法不要总是抓取一个页面?有没有好的办法?

追加问题
    6 人参与回答

按提示去处理就可以,或者死链提交

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

按提示去处理就可以,或者死链提交

即刻导航
即刻导航 · 简历魔提供绿色纯净软件下载,包括电脑软件、图片软件、压缩软件、系统优化软件、浏览器插件等,此外还提供电脑技巧文章、新

我的也是啊,一个页面重复抓取,真的是服了

唔知叫什么名好
唔知叫什么 · 法律快车网站权重6,友情链接QQ1293815178

看看大师怎么说的吧。

阿尔帕西诺
阿尔帕西诺 · 器物有魂

网站地图做好就行

看看专家怎么说的吧