以下这个robots是什么意思? 悬赏1元 已结束

2,803 次浏览

User-agent: * 
Disallow: *
追加问题
    6 人参与回答
1元
获得赏金

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符,你可以更换成具体的搜索引擎名称

Disallow:是禁止爬寻的意思,后面可以加上目录之类的


允许所有种类搜索引擎蜘蛛爬行,禁止爬行所有页面

树边一口井
树边一口井 · 擅长

这是在逗搜索引擎玩儿!!!

柳海
柳海 · 80后,SEO/SEM爱好者,V信:hai-world

你的书写有错误。建议直接百度其写法!

小凡
小凡 · 大自驾网创始人,5年seoer

这个是全部的还是部分,全部的话就是禁止所有搜索引擎抓取。如果只是部分,好像是除了某几个蜘蛛之外的蜘蛛全部禁止

老亢 · 百度变的太快,只能以不变应万变。

所有蜘蛛都可以进来,然而什么东西都不让带走。

很任性的Robots