搜外网>搜外问答>问答页面

蜘蛛经常爬取重复页面怎么处理对?

最近蜘蛛正常来网站爬取,就是抓取的页面都是重复的,所以收录也不正常,如何禁止蜘蛛不要重复爬取页面,让蜘蛛爬取抓取指定的页面内容,有什么方法吗?

追加问题
    4 人参与回答
知世
知世 · seo优化推广

    Nofollow

河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所

是不是你网站内的锚链接都指向了相同的几个页面,所以总是爬这几个页面,要不改改锚链接,没办法减少爬,可以禁止爬,用Robots.txt文件禁止蜘蛛爬你不想爬的页面,使用方法自己百度!

畜禽粪便网站
畜禽粪便网 · 畜禽粪便处理设备厂家,辽宁一诺环境产业集团有限公司

我有的页面直接加Nofollow,限制抓取

SEO培训招生中
155