搜外网>搜外问答>问答页面

蜘蛛总是爬取重复的页面怎么禁止?

网站蜘蛛是经常正常来爬取,但是每次爬取的页面都是重复的太多,怎么禁止蜘蛛引导蜘蛛爬取正确的页面,我需要怎么办?为什么蜘蛛总是爬取重复的链接页面,是网站那里问题怎么改对?

追加问题
    3 人参与回答

总是爬重复的,说明那块内容蜘蛛喜欢,可以添加一些内链,多提交网站地图

采购文件网
采购文件网 · 采购文件网专业的招标投标文件、方案制作,点右边

总是爬重复的,说明那块内容蜘蛛喜欢,可以添加一些内链,多提交网站地图

阿尔帕西诺
阿尔帕西诺 · 器物有魂

你在他爬取的页面上挂些别的链接引导过去

SEO培训招生中
162