搜外网>搜外问答>问答页面

网站蜘蛛爬取重复页面怎么处理?

蜘蛛总是爬取重复的页面,网站的链接很多,但是其它都不爬取,就爬取几个重复的,怎么禁止不让蜘蛛爬取重复的页面?有什么好办法,大神指点。

追加问题
    2 人参与回答
﹏氤氲`
﹏氤氲` · 市场
权重蜘蛛-池出租 等 1 人赞同该回答

不想让蜘蛛爬的做Nofollow

SEO培训招生中
190