搜外网>搜外问答>问答页面

robots阻止抓取死链有效吗

微信

死链目录放到robots里面了  为什么还有百度蜘蛛来爬

追加问题
Robots 百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2022-02-11 发布373 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
素材网
素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

过来学习的，而且很认真的

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
24-7-J
24-7- · 民杰科技官网-货车车主(司机)一站式服务商|交通安全教育,网络货运知名企业

Robots文件格式一般是放在根目录下面的吧？为什么在你们网站上没看到robots.txt这个文件呢。
或者就是你的Disallow设置有问题

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
芦苇
芦苇

模拟抓取看看，可能百度蜘蛛需要时间反应，等等看

2 年前
IP属地：云南
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 过年期间排名没变，词库没变，流量降了不少。
  • bingbing搜索被封号是不是代表着网站站长走投无路？
  • 【做个调研】各位兄弟，有快收权限域名的，最近收录咋样！
  • 腾讯一直没有公布微信搜索的算法，微信搜一搜的SEO要如何做呢？
  • 关于bing收录网站的问题，反馈回复不符合，不说原因
  • 过年了钱没赚到啊，该怎么办
  • 上星期提的报备，这个星期没信息，来看得等下个星期了
  • 网站收录一切正常 沒有排行 该怎么办
  • 为什么有些人做站在权重值迅速 ？
  • 百度推广管用不？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司