搜外网>搜外问答>问答页面

如果robots文件把网站所有页面都做禁止抓取，那百度蜘蛛是不是就不会爬我这个网站了？

微信
追加问题
Robots 百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2024-04-22 发布71 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
流量计 标定装置厂家
流量计 标 · 液体流量计，液体/气体检定装置厂家166-3787-2373（同微）

正常来说，确实是这样的。

1 周前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
Forword
Forwo

直接
User-agent: *
Disallow: /
这样就禁止所有搜索引擎蜘蛛爬取你网站所有内容了

1 周前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
信之源律师助理
信之源律师

是的

1 周前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
搜外6系统，专为懂SEO的人！ 发布回答
  • 网页打不开最有可能的原因是什么
  • 如何优化新站才能让关键词获得更好的排名？
  • 外链什么样的算有效外链
  • 爬虫数据过少该如何处理
  • 如何保证文章关键词的合理密度分布？
  • 网站不被蜘蛛抓取有哪些解决方法？
  • 怎么用网站禁止收录机制屏蔽蜘蛛抓取页面？
  • 网站数据迁移更换服务器需要多长时间？
  • 搜索意图优化有哪些技巧？
  • 准备把网站合并，以后当副业来做
    • SEO培训招生中
    190
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司