搜外网>搜外问答>问答页面

robots问题 悬赏3元 已结束

<p>大神们帮我看看  我这个robots文件规则写错了,怎么禁止了,网站日志显示百度蜘蛛还在抓取admintlhb这个目录??</p><p>然后这个我是不是要禁止一下skin这个目录</p><p><br></p><p><br></p><p><br></p>

追加问题
    16 人参与回答
崔家大院
崔家大院 · 网站诊断、建站、快速排名
无量 等 1 人赞同该回答

这个不用管,百度就是这样  任何一个网站也都这样

应该是假蜘蛛抓取的。有很多百度假蜘蛛。

蜘蛛还是会抓的,屏蔽也不一定管用

吴则怡
吴则怡 · 业精于勤荒于嬉,行成于思毁于随!

<p>首先说3点。</p><p>1、首先要手动判定下是真百度蜘蛛还是假百度蜘蛛</p><p>2、去百度资源搜索平台→Robots有个校验,去测试下,是否拒绝访问</p><p><br></p><p>3、Disallow:/admintlhb 这样写,如果后面加斜线,表示允许抓取admintlhb文件,但是不允许抓取文件夹下的内容。去掉斜线,表示不允许抓取/admintlhb文件及文件夹下的文件</p>

其实从现在来看,Robots文件蜘蛛也并没有完全遵守,另外就是robots文件生效期也有大概一个月左右

鲁梓源1号
鲁梓源1号 · 成都软装公司,精装房样板房软装,别墅装修公司,同行业换友链加Q :524595840

大家都说的很对

左左渔
左左渔 · 专注“科技项目申报”体系

禁止了的话还是会被抓取的,Robots生效是需要时间的,需要过渡一段时间

Robots协议,百度不太会遵守的。

毅
· 擅长SEO,建站 ,公务员,面试培训

要禁止后面不能加/,加/就是允许,大哥。每次更改了Robots检测一下

路人
路人 · seo小学生

把skin也禁止了吧,蜘蛛爬你这个目录没任何作用和好处,然后就是Robots一般来说如果禁止了蜘蛛还在抓,那么就不用管他了,每天观察蜘蛛就行了

Robots协议百度的生效周期是一个月,放上去然后等就行,多注意观察就行。

风逝
风逝 · seo优化,linux运维,前端页面修改。

确实不用管。禁止只是一个命令而已,不保证蜘蛛还是不是还会抓取。

Robots生效周期是一个月,放上去然后等就行,多注意观察,另外如果你这个是后台地址,不建议你直接写上去

刘振勇
刘振勇 · wsjpg纹身图案

Robots生效是需要时间的,你是不是在百度抓取之后才禁止收录的admintlhb这个目录,如果是的话,很长一段时间百度还是会抓取这个目录的,生效时间一般一个月左右。

这个是不管用的,禁不住蜘蛛,淘宝还把百度给屏蔽了,百度不照样抓取淘宝

加载更多
SEO培训招生中
189