搜外网>搜外问答>问答页面

蜘蛛总是爬取重复的页面怎么禁止？

微信

网站蜘蛛是经常正常来爬取，但是每次爬取的页面都是重复的太多，怎么禁止蜘蛛引导蜘蛛爬取正确的页面，我需要怎么办？为什么蜘蛛总是爬取重复的链接页面，是网站那里问题怎么改对？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2021-12-29 发布386 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
梦幻雪
梦幻雪

总是爬重复的，说明那块内容蜘蛛喜欢，可以添加一些内链，多提交网站地图

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
采购文件网
采购文件网 · 采购文件网专业的招标投标文件、方案制作，点右边

总是爬重复的，说明那块内容蜘蛛喜欢，可以添加一些内链，多提交网站地图

2 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
阿尔帕西诺
阿尔帕西诺 · 器物有魂

你在他爬取的页面上挂些别的链接引导过去

2 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 试用期要结束了，哈哈，网站仍然没有收录，慢慢都是泪
  • 网站优化怎么设置301重定向？
  • 火车头大量采集文章怎么保证文章质量？
  • 高防cdn的构建简单吗？高防cdn有什么优势？
  • 索引量一直在下降，怎么才能补救?
  • 怎么让百度把www域名放出来，求方法
  • 网站怎么获取交换友情链接哪些方法？
  • 网站百度收录比较少，360和搜狗不收录是什么问题？
  • robots.txt中可以屏蔽中文url吗？
  • 我有个新网站，在爱站网查获得PC有4个关键字有排行，可是在百度网页上找不着是什么原因？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司