搜外网>搜外问答>问答页面

如何不让蜘蛛抓取重复的页面？

微信

现在其它页面都不收录，百度蜘蛛总是抓取重复的页面，收录也是重复的，我如何让蜘蛛不要抓取重复的页面？

追加问题
百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2020-05-06 发布601 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    10 人参与回答
烟火
烟火 · 南极下载站
权重蜘蛛-池出租 等 1 人赞同该回答

在Robots.txt里面加入

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
梦梦
梦梦 · 泰海科技12年服务经验，专注于服务器租用
权重蜘蛛-池出租 等 1 人赞同该回答

页面加入Robots文件里就可以

4 年前
IP属地：河南
赞同 1 评论 0
收藏 举报
评论取消
紫薯紫米粥
紫薯紫米粥
权重蜘蛛-池出租 等 1 人赞同该回答

在Robots.txt里面加入不想要蜘蛛抓取的页面就行了

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
幸福的港湾
幸福的港湾
权重蜘蛛-池出租 等 1 人赞同该回答

屏蔽咯

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
合发齿轮官方微信
合发齿轮官 · 精密齿轮
权重蜘蛛-池出租 等 1 人赞同该回答

重复的页面直接屏蔽

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
别问
别问
权重蜘蛛-池出租 等 1 人赞同该回答

把重复的页面屏蔽了吧

4 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
ᝰ_丶Demon
ᝰ_丶De
权重蜘蛛-池出租 等 1 人赞同该回答

Robots里屏蔽掉重复页面就好了

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
钢板卷管
钢板卷管 · 专注钢管行业SEO服务

页面加入Robots文件里就可以


4 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
首诺视觉
首诺视觉

屏蔽掉不想被抓取的页面

4 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 二级域名和一级域名的区别有哪些？
  • 网站内容不收录怎么回事，如何提升收录的方法?
  • 网站用户体验度搜索引擎是如何判断的 ？
  • 天天都不收录，都不想更新了
  • 如何通过简化标题，布局内容提升关键词排名?
  • 什么叫内链？如何布局内链？
  • 网站优化常见外链操作误区有哪些？
  • 改页面标题会被降权或惩罚吗？
  • 云服务和HTTPS如何选择？
  • 什么内容容易被百度判断优质内容？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司