搜外网>搜外问答>问答页面

蜘蛛抓取重复的页面不抓新页面怎么解决?

蜘蛛每天来网站次数挺多,就是每次爬取重复的页面,不抓取新页面,怎么让蜘蛛不要爬取重复的页面,指定的页面让蜘蛛爬取,我应该怎么做?给点建议吧!谢谢啦!!!

追加问题
    6 人参与回答

这个需要看网站的结构,网站没必要禁止蜘蛛抓老的页面,非要禁止的话就写Robots,让蜘蛛爬新页面无非就是锚文本,链接提交,引蜘蛛了。还有主要看网站结构怎样。

四百发布网
四百发布网 · 各类传奇手游,手游SF,复古传奇,神途,发布网站,每日更新大量手游传奇信息

我都不知道在哪里查询蜘蛛的抓取记录

追梦
追梦 · 2010年自学SEO,操作过很多案例。大家一起交流学习进步!

外链难做的 

SEO培训招生中
190