搜外网>搜外问答>问答页面

蜘蛛抓取重复的页面太多怎么解决?

微信

网站蜘蛛总是爬取重复的页面多次，其它页面没有被爬取过，如何引导蜘蛛不要继续爬取重复的页面？蜘蛛爬取重复的页面，也没有收录多少，重复的页面被爬取也不收录，怎么优化不会重复爬取啊？谢谢大佬解答疑问。

举报 本帖由用户发布，如有侵权联系删除 2021-06-09 发布551 次浏览

交换友情链接，就用搜外友链，方便！

3 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、蜘蛛抓取重复页面，这些页面里面有无导出外部的URL，如果有，也会有机会被抓取爬行；
2、例如新站，蜘蛛可能更多是抓取站点首页，内页不予抓取，这种多半是首页信任度高，内页还需要持续优化积攒信任度；
3、站内结构优化合理，彼此直接都有指向，那么都会有机会被抓取；
4、蜘蛛不抓取其他页面，可以做提交推送URL给百度站长，站点规划合理，其他页面也有机会被抓取。