搜外网>搜外问答>问答页面

蜘蛛爬取页面重复怎么解决问题？

微信

网站蜘蛛每天来爬取，怎么保证蜘蛛不要继续爬取重复的页面，每次被蜘蛛爬取页面重复了，导致收录量也下降，有什么好的办法可以禁止蜘蛛让蜘蛛爬取正常吗？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-03-07 发布361 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
∞ 言酒
∞ 言 · 专业SEO优化，SEM，网站诊断、方案编写,需要滴滴，QQ:509006647

重复搜集，是指物理上存在的一个网页，在没有更新的前提下，被搜集程序重复访问。造成重复搜集的原因，一方面是搜集程序没有清楚记录已经访问过的URL，另一方面是由于域名与IP多重对应关系造成的。分情况解决 一、 记录未访问、已访问URL和网页内容摘要信息二、 域名与IP的对应问题

2 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、新站上线，蜘蛛可能一直爬首页，不抓取内页，网站被降权也会遇到这类情况；
2、具体站具体分析，做好站内外SEO优化，积攒域名信任度，提升网站整体质量，抓取无问题，做推送提交，引蜘蛛操作，引蜘蛛来访抓取内页。

2 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
12365信息网
12365 · 12365信息网-生活帮助知识库

我最近也是遇到这个问题

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 文章的TDK的DK也要单独的吧，全部一样的影响收录吗？
  • 网站两个月了，站长后台显示终于出词了
  • 未备案 有什么好的黑科技收录内页吗 ?
  • 关于SEO中大家都有哪些购买友情链接的好渠道，购买些优质的外链
  • 网站已经收录怎么保持排名？
  • 这是情况该怎么操作合理，收录一直在下降
  • 懂seo的进来下，好久没做排名了，有几个疑问
  • SEM工作面试，一般都会问哪些问题呀？
  • 百度收录可算是更新了，虽然不多但是聊胜于无，继续加油吧
  • 网站如何发外链怎么发布？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司