搜外网>搜外问答>问答页面

蜘蛛抓取页面重复太高怎么解决?

网站怎么蜘蛛抓取页面不正常,反复无常的抓取重复的页面,如何引导蜘蛛抓取页面的情况,怎么吸引蜘蛛的抓取,网站蜘蛛太少了,也没有蜘蛛的痕迹?

追加问题
    3 人参与回答

多放些其他文章的链接

三九问答
三九问答 · 专业的有问必答平台

爬了收录没,如果收录就是正常的,否则屏蔽即可

文章内链做好 把不收录的内页放到新发布的文章里面,最好是同一个产品的新闻,可以引导蜘蛛抓取