搜外网>搜外问答>问答页面

网站蜘蛛反复抓取重复的页面怎么禁止？

微信

网站查看多次，蜘蛛反复无常的抓取页面重复，一次次的抓取就是重复页面很多，导致抓取也没有多大用，怎么才能合理的让蜘蛛不要抓取页面重复，有办法禁止蜘蛛，让蜘蛛合理爬取吗？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-05-24 发布332 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
简单
简单

你可以Robots写下

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
lubex
lubex · 广州绿百草-实验室综合供应商

Robots屏蔽页面抓取

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
富高家具有限公司www.fugaojiaju.com
富高家具有

可以利用Robots来屏蔽此页面阻止蜘蛛来抓取

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
隔壁老王情妇
隔壁老王情 · 菜鸟一枚,努力学习中......

屏蔽掉这个页面就好了

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
三九问答
三九问答 · 专业的有问必答平台

把这个页面屏蔽掉不就行了

1 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
曾经的你
曾经的你

如果你网站不想被搜索引擎收录可以再Robots中配置相应的蜘蛛禁止抓取，如果你想让他收录，就让他爬取，蜘蛛只有反复的抓取评估页面才有纪律收录，如果不抓取，你的页面基本上被收录的可能性很小，如果觉得这个链接没用，不需要蜘蛛抓取，可以将这条链接屏蔽掉，或者再robots中写明不抓取的链接，就不会抓取了

1 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • seo新手需要哪些必备工具查询分析？
  • 阿里云服务器IO调低了，同时读取100个文件就没了
  • 网站如何交换友情链接互动大型站？
  • 百度搜索会对新网站给予更高的抓取频次吗？
  • 新站每天更新多少篇文章合适？
  • 深圳实验设计DOE培训网站如何优化
  • 网站404链接错误怎么处理清除干净？
  • 阻碍网站内容被蜘蛛抓取的原因有哪些?
  • 头条号经常更新发布作品怎么提高推荐量？
  • 网站没有任何违规操作为什么标题都搜索不到？是被降权了吗
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司