搜外网>搜外问答>问答页面

网站蜘蛛爬取重复的页面太多怎么解决?

微信

蜘蛛每天按时来网站爬取，抓取频率还可以就是最近爬取的页面多数是重复的，重复的页面太多怎么解决？蜘蛛怎么才会不抓取重复的页面？我查看了日志，不会有误就是重复的页面很多，怎么办求方法谢谢支招！

追加问题
举报 本帖由用户发布，如有侵权联系删除  2021-04-19 发布533 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    4 人参与回答
雪球
雪球

你看看是不是有死循环的那种链接

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

这个应该正常吧，你多给重复的页面加点其他内链引导一下

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
wd1x.com
wd1x. · 问答一下，轻松解决，电脑应用解决专家

是不是伪静态没做好，导致静态动态都收录出现大量重复页面

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
花无痕
花无痕 · 花开的时间很美丽

是不是网站有死循环链接，可以检查一下

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 在pc端搜索好多关键词都是出现的移动端网站的排名
  • 用什么工具可以吧对方的图片也采集下来，wp的采集插件只能采集内容，图片不行？
  • 网站4个月了收录一直不增加就是500+徘徊？难熬
  • 蜘蛛日志中出现不理解的ip段，哪位大佬能解释下，是否对蜘蛛抓取会造成影响？
  • 百度对于新站不是很友好啊，这收录一天有一天没的。啥时候能有排名！！！
  • 站点收录卡了很久，除了主动推送和手动提交，还有什么办法可以帮助收录
  • 老域名建站已经一周多了，每天抓取十多次，但是还是不收录，为什么？
  • 内页的超链接接 加成 另一个二级域名形式，会对当前内页权重有影响吗
  • 网站改版多久重新收录恢复正常?
  • 头条号推荐突然消失了，这是怎么了？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司