<p>搜外小伙伴帮看看robots写法对不对,</p><p>屏蔽SEKA这个目录,允许其中的几个栏目页被蜘蛛抓取</p><p><br></p>
可以,这样写就是禁止某个准确的页面不让抓取
可以这样写的
应该可以的,可以去搜索引擎站长平台试一下
可以。允许的没必要写
太细了吧。。
嗯嗯 对的
去站长工具里试一下
Allow是没必要强调的,只写disAllow就可以了。
这个不需要设置,也是可以收录的
可以没问题的
是可以的啊,主要是设置抓取哪些而已,不知道为什么要这样设置,一般都是允许所有搜索引擎爬取
没啥毛病,可以只写抓取或者不允许抓的,不用都分开写出来
差不多就行了
这样写也是可以的
百度有提供测试的工具 检测一下robot.txt 在百度资源平台 “数据统计”>“Robots” 底部可以校验一下是否被阻止。
没问题,这样写
好像要绝对地址 如 http://
你这样的Robots写法有点画蛇添足的感觉,一般User-agent: *和Disallow:这两块写完直接加Sitemap地址就行了,不用单独添加Allow的,这是多余的,你只需要disallow你让蜘蛛爬取的目录,剩下目录的就是默认蜘蛛可以,不用再强调一下某些目录和html文件了。
没有问题,百度肯定是遵守规则的
这样写没有问题,但是百度很多时候不遵守
前面一个目录的统一写个规则不就好了啊
在这里蹲一个回答吧。
让更多人参与回答