搜外网>搜外问答>问答页面

网站蜘蛛总是爬取重复的页面怎么办?

网站蜘蛛最近来网站也是频率有点多,问题是爬取的都是重复的页面,反复爬取重复的页面,我应该怎么处理,不让蜘蛛爬取重复的页面,蜘蛛爬取重复的页面我没有更好的办法?希望各位多指导感谢了。

追加问题
    4 人参与回答
胡汉三
胡汉三 · 上海沈泉泵阀公司

那说明那个页面好啊,除了首页

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

多发点外链

蜻蜓(butterpig.top)
蜻蜓(bu · 各类便捷智能的在线图片处理工具

说明你那个页面好啊

初见_
初见_ · 知识付费开发、知识服务平台搭建

提交新的内容啊,爬重复的页面没有关系,反而有好处,这样你只要更新内容就能马上被抓取。

SEO培训招生中
187