搜外网>搜外问答>问答页面

蜘蛛爬取页面重复怎么解决?

网站蜘蛛爬取页面次数很多,但是没有被收录起来,多数爬取都是重复的,无用的爬取页面重复的,怎么才能让蜘蛛爬取正常?为什么蜘蛛一次次的爬取重复的页面,有什么解决的办法?

追加问题
    2 人参与回答

看看你的页面布局呀

要是404页面就提交反馈,要是正常页面反复抓取就更新页面内容,增加内链提高蜘蛛的抓取路径,要还是一样的抓取情况,吸引更多外部蜘蛛去不同页面抓取。

SEO培训招生中
189