搜外网>搜外问答>问答页面

robot里禁止搜索引擎抓取 但是还是收录了首页怎么回事？ 悬赏1元 已结束

微信

<p><br></p>

追加问题
本帖由用户发布，如有侵权联系删除  2020-07-03 发布1,797 次浏览
举报
其他问题
 
    18 人参与回答
最佳回答
用户175680
用户196011 等 1 人赞同该回答
感觉百度现在不怎么遵守Robots 或者对robots.txt是有反应 但又比较慢
5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户176941
用户196011 等 1 人赞同该回答

很正常的事情

5 年前
IP属地：河北
赞同 1 评论 0
收藏 举报
评论取消
用户93870
用户196011 等 1 人赞同该回答

百度的地盘，百度说的算。。。。

5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户125573 · 一个热爱美食&amp;amp;amp;且喜欢旅游的网站行业工作者&amp;amp;amp;当然佛系#
用户196011 等 1 人赞同该回答

完全正常

5 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
用户132833
用户196011 等 1 人赞同该回答

投诉反馈所有的已经收录的

5 年前
IP属地：湖北
赞同 1 评论 0
收藏 举报
评论取消
用户173560 · 网站从业人员，一个悟道的秃头技术员
用户196011 等 1 人赞同该回答

去反馈中心反馈下问题，工作人员就会告诉你问题了

5 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
用户159004
用户196011 等 1 人赞同该回答

禁止了不代表不抓取收录

5 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
用户158885 · 开开心心做自己，活在当下就好，擅长实验室建设规划，医院建设，净化工程
用户196011 等 1 人赞同该回答

正常啊，收录首页是没问题的

5 年前
IP属地：广西
赞同 1 评论 0
收藏 举报
评论取消
用户157263 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售
用户196011 等 1 人赞同该回答

很好啊

5 年前
IP属地：湖北
赞同 1 评论 0
收藏 举报
评论取消
用户156837
用户196011 等 1 人赞同该回答

1楼正解

5 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
用户138818 · 高质量发布企业信息-网站锚文本链接发布-点右边自己发
用户196011 等 1 人赞同该回答

很正常啊，收录首页是没问题的，就像淘宝，之前也加了Nofollow，也只搜得到首页

5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户149592 · 从业三年半的seo技术人员，QQ号：766363590（可交流）
用户196011 等 1 人赞同该回答

路过路过

5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户165235 · 激光切割机
用户196011 等 1 人赞同该回答

禁止是你的事，收不收录守不守规则是他的事 .......

5 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户139974

完全正常

5 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

<p>1、Robots屏蔽整站，不代表他不收录首页；</p><p>2、收录首页，描述是不会显示任何其他东西，如淘宝屏蔽整站的效果；</p><p>3、你的首页，在其他有外链，他不抓取你的URL，但是会从其他地方找到你的网站从而抓取爬行。</p><p><br></p>

5 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消

匿名用户

因为Robots的设置根本就不管用

5 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
用户90441 · 网站诊断、建站、快速排名

一般收录很正常 ，建议你 一个搜索引擎  一个搜索引擎的写

  • User-agent: baiduspider
  • Disallow: /
5 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户173953

投诉反馈所有的已经收录的  不按你规定的办很正常

5 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

idash idash idash enyid enyid enyid enyid enyid enyid enyid enyid uptea uptea /bjax ezhen ezhen /njlj njljm phtvt phtvt

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司