搜外网>搜外问答>问答页面

蜘蛛抓取重复的页面太多怎么解决？

微信

百度蜘蛛重复抓取一个页面，一个页面重复的抓取，其它页面不被抓取，如何让蜘蛛不要重复的抓取？抓取的都没有多大用，我应该怎么办？

追加问题
百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2020-12-16 发布508 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    10 人参与回答
Link
Link

禁止抓取的话并不会让蜘蛛抓其他页面，重复抓也没事吧

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
不养猫
不养猫

设置一个robot看看 

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
『義魦亮』
『義魦亮』

如果对服务器不影响的话，就让他抓呗

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
天天蓝
天天蓝

设置一个robot看看 

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
@@
@@ · 友情链接：QQ981033723

禁止抓取

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
西接拉阿木丿
西接拉阿木 · 那木西撇，色拉恩子，做一个佛系SEO，谢谢大佬来互点刷点访问量，有点必回

robot就可以了

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用

可以试下设置一个robot看看 

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
奇葩小站
奇葩小站

robot禁止抓取那个目录

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
胡汉三
胡汉三 · 上海沈泉泵阀公司

那就禁止抓取吧

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 三人回答为什么只显示一个呢？
  • 做一个自适应网站多少钱？
  • 网站每天新发的文章，蜘蛛会来抓，但是长期不给放出来的原因是什么？
  • 不要说什么收录，现在索引和抓取频次都下降了
  • 没有备案的网站百度会不会收录？
  • 为什么我没有带www的域名收录比带www的多，但是我做了重定向了啊
  • 网站内容主推小儿推拿，内容收录很慢很慢,为什么呢?
  • 什么样的收录才算是有效收录？
  • 现在论坛等发帖有什么好的发帖机吗？
  • 大家今天的索引怎么样？反正我的是掉了
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司