搜外网>搜外问答>问答页面

蜘蛛爬取页面重复怎么解决问题？

微信

网站蜘蛛每天来爬取，怎么保证蜘蛛不要继续爬取重复的页面，每次被蜘蛛爬取页面重复了，导致收录量也下降，有什么好的办法可以禁止蜘蛛让蜘蛛爬取正常吗？

本帖由用户发布，如有侵权联系删除 2022-03-07 发布639 次浏览

3 人参与回答

用户190820 · 专业SEO优化，SEM，网站诊断、方案编写,需要滴滴，QQ:509006647

重复搜集，是指物理上存在的一个网页，在没有更新的前提下，被搜集程序重复访问。造成重复搜集的原因，一方面是搜集程序没有清楚记录已经访问过的URL，另一方面是由于域名与IP多重对应关系造成的。分情况解决一、记录未访问、已访问URL和网页内容摘要信息二、域名与IP的对应问题

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、新站上线，蜘蛛可能一直爬首页，不抓取内页，网站被降权也会遇到这类情况；
2、具体站具体分析，做好站内外SEO优化，积攒域名信任度，提升网站整体质量，抓取无问题，做推送提交，引蜘蛛操作，引蜘蛛来访抓取内页。

用户184427 · 12365信息网-生活帮助知识库

我最近也是遇到这个问题

收录宝