搜外网>搜外问答>问答页面

怎么让蜘蛛不爬取重复的页面?

网站蜘蛛总是重复爬取页面,导致有些页面根本不被收录,这种情况下已经有持续一个月了,不想让蜘蛛爬取重复的页面,怎么禁止或者引导蜘蛛爬取不重复的页面?谢谢解答!

追加问题
    7 人参与回答

Robots里面添加不要蜘蛛爬取的栏目,或者加Nofollow

你的文章质量好才一直抓的

行星减速机
行星减速机 · 行星减速机品牌厂家

蜘蛛确实不好控制,来了就是给面子了

权重高,可以的

碌柚
碌柚 · 一固隔断[www。egoodgd。cn]专业生产:办公室隔断,玻璃隔断,酒店活动隔断,活动屏风等产品

不能把,蜘蛛不是我们能控制的,除非你做Robots,直接不让蜘蛛爬进来。

说明你那个页面权重很高

SEO培训招生中
160