我是不是robots出问题了呀。。

我把ahrefsbot用robots屏蔽了    它不再来了,然而我的百度蜘蛛为啥跟着它一起不来了呢。啥子原因哟

小破站 http://www.yingniu888.cn/
[?]

追加问题
    2 人参与回答
帮忙么
帮忙么 · 帮忙么

去百度工具后台诊断一下

大地旅人
大地旅人 · SEO流量站工作者,专注软件下载站、电影站、BC等非企业网站

既然不确定是否是因为自己错误的设置Robots导致百度蜘蛛不来,那么又想要禁止ahrefsbot,其实可以直接禁止相应蜘蛛的IP地址即可。