搜外网>搜外问答>问答页面

robots问题悬赏3元已结束

微信

<p>大神们帮我看看我这个robots文件规则写错了，怎么禁止了，网站日志显示百度蜘蛛还在抓取admintlhb这个目录？？</p><p>然后这个我是不是要禁止一下skin这个目录</p><p><br></p><p><br></p><p><br></p>

Robots 网站日志举报 本帖由用户发布，如有侵权联系删除 2019-05-21 发布1,639 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

16 人参与回答

崔家大院 · 网站诊断、建站、快速排名

无量等 1 人赞同该回答

这个不用管，百度就是这样任何一个网站也都这样

秋殇

应该是假蜘蛛抓取的。有很多百度假蜘蛛。

路过蜻蜓

蜘蛛还是会抓的，屏蔽也不一定管用

吴则怡 · 业精于勤荒于嬉，行成于思毁于随！

<p>首先说3点。</p><p>1、首先要手动判定下是真百度蜘蛛还是假百度蜘蛛</p><p>2、去百度资源搜索平台→Robots有个校验，去测试下，是否拒绝访问</p><p><br></p><p>3、Disallow：/admintlhb 这样写，如果后面加斜线，表示允许抓取admintlhb文件，但是不允许抓取文件夹下的内容。去掉斜线，表示不允许抓取/admintlhb文件及文件夹下的文件</p>

一只拖鞋

其实从现在来看，Robots文件蜘蛛也并没有完全遵守，另外就是robots文件生效期也有大概一个月左右

鲁梓源1号 · 成都软装公司,精装房样板房软装，别墅装修公司，同行业换友链加Q ：524595840

大家都说的很对

左左渔 · 专注“科技项目申报”体系

禁止了的话还是会被抓取的，Robots生效是需要时间的，需要过渡一段时间

Mr. C

Robots协议，百度不太会遵守的。

毅 · 擅长SEO，建站，公务员，面试培训

要禁止后面不能加/，加/就是允许，大哥。每次更改了Robots检测一下

路人 · seo小学生

把skin也禁止了吧，蜘蛛爬你这个目录没任何作用和好处，然后就是Robots一般来说如果禁止了蜘蛛还在抓，那么就不用管他了，每天观察蜘蛛就行了

stone

Robots协议百度的生效周期是一个月，放上去然后等就行，多注意观察就行。

风逝 · seo优化，linux运维，前端页面修改。

确实不用管。禁止只是一个命令而已，不保证蜘蛛还是不是还会抓取。

熊猫小洋

Robots生效周期是一个月，放上去然后等就行，多注意观察，另外如果你这个是后台地址，不建议你直接写上去

刘振勇 · wsjpg纹身图案

Robots生效是需要时间的，你是不是在百度抓取之后才禁止收录的admintlhb这个目录，如果是的话，很长一段时间百度还是会抓取这个目录的，生效时间一般一个月左右。

芒果太忙

这个是不管用的，禁不住蜘蛛，淘宝还把百度给屏蔽了，百度不照样抓取淘宝

加载更多