搜外网>搜外问答>问答页面

蜘蛛爬取重复的页面多次怎么处理蜘蛛？

微信

网站日志查询看到蜘蛛很多次爬取，就是爬取内容都是重复的，每次被爬取的都是重复的，怎么合理的爬取页面最好不要重复了，有什么方法可以解决？蜘蛛爬取页面都是重复的，苦恼死了怎么办？

追加问题
网站日志 举报 本帖由用户发布，如有侵权联系删除  2022-05-17 发布400 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
华杰东方 品质家装
华杰东方 · 央联美食——预制菜 打造“中国健康新餐饮、智慧新生活”

更新百度地图，通过多种方式向百度提交最新的链接，吸引蜘蛛抓取新页面

1 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、新站上线，蜘蛛总是会抓取首页，内页不抓取，这种情况也是符合搜索预期；
2、内页，产品页，栏目页，如果是老站了，依旧不抓取，可以尝试引蜘蛛操作，吸引蜘蛛来访抓取内页，抓取诊断无异常，内容稀缺优质的也可以申诉反馈百度站长，请求收录；
3、持续稳定做好站内外SEO优化，积攒域名信任度，做推送提交引蜘蛛，后期内页也会被抓取放出页面收录。

1 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

抓取的页面多加点内链试试呢 蜘蛛就是会经常爬取重复页面的 你还可以多发外链去吸引更多的蜘蛛来抓取

1 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 怎么设置百度搜索时网站显示站名？
  • 网站被降权问题
  • 网站长期无维护百度会不会关闭站？
  • 怎么判断网站是否降权了
  • 网站被降权了该怎么办？一般多久能恢复？
  • 友情链接交换方式有哪些怎么互动交换友情链接？
  • pc端，百度快照边上，显示：网站名称与网站链接有什么不同吗？
  • 4.14左右百度有什么调整动作吗？
  • 我们公司网站排名非常不稳定，今天上去了明天就下来了，大神帮忙诊断下！
  • 网站外链数据减少很多怎么补救办法？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司