搜外网>搜外问答>问答页面

蜘蛛爬取重复页面多次怎么解决?

最近蜘蛛反复爬取重复的页面,多次爬取重复的页面,其它页面没有爬取情况,如何指定页面让蜘蛛爬取,不要继续重复爬取页面,这样有没有办法可以解决?

追加问题
    3 人参与回答

在那个页面上做一些其它页面的锚文本链接,比如猜你喜欢,相关文章,推荐文章,热门文章,比如之前默认是10篇的,现在设置成50-100篇,放在那里让蜘蛛爬。

Z
Z · 广州健华物流有限公司

不用管它,我的也是这样的情况,可能是过渡阶段,我的一开始只爬取首页, 后来就慢慢只爬取栏目页,中途也会爬取文章页,我感觉这是一个过渡阶段吧

外链大神
外链大神 · 【代发外链包收录】【Q 3073165473】

蜘蛛你没法控制的,你可以用其他页面去引蜘蛛就好了

SEO培训招生中
158