24 人参与回答
这个看个人需求吧
不需要弄,因为独立的,设置个也是可以的,user-agent:* Dissallow:/
不需要的,有一个就行
看个人自身的情况
不需要的,如果是自适应站点做一个就行
不需要的,有一个就行
这个看个人需求吧
蜘蛛抓的时候就从这儿开始
是非常重要的..
看个人需求,可以做可以不做
可以做,但是为什么要做呢
不需要的,如果是自适应站点做一个就行
看个人需求,可以做可以不做
有不想让蜘蛛爬取的页面就可以用,否则就没必要用
看个人需求吧
这个看个人需要啊,一般没必要设置的
应该没必要单独设置
完全看你个人的习惯了啊
一般都放了的,就算没有禁止抓取的文件。
看你自己的需求啊
这个看你自己把!个人感觉没必要