robot.txt只允许搜索引擎抓取指定目录怎么写? 悬赏1元 已结束
例如只允许搜索引擎访问一些三个目录，怎么写？除一下三个栏目以外所有目录都不允许抓取。目的是为了防止搜索引擎抓取网站根目录以外的虚假页面，所以我只想允许搜索引擎抓取网站跟目下的指定目录。
举例：
/123/
/abc/
/1a2b3c/
8 人参与回答
最佳回答
User-agent: *
Allow:/123/
Allow:/abc/
Allow:/1a2b3c/
Disallow: /
（Allow必须在Disallow百度才能生效，另外你看看目录那个要不要被收录，如果希望目录也被收录，就把后面的反斜杠去掉，也就是：
User-agent: *
Allow:/123
Allow:/abc
Allow:/1a2b3c
Disallow: /
）
PS：忘记说了，不要忘了首页，确定至抓这三个目录吗？或者你只是想禁掉动态页面，如果是只禁掉动态页面，按下面的写：
User-agent: *
Disallow: *?*
那么直允许蜘蛛抓你设定的那几个页面就行，其他的/不给抓取
现在都是可以直接用工具去生成的
搞错就不好了后果很严重
不允许抓取的最好都以最详细的为准，把所有的层级都要写下来，不能只写最后一层
不明觉厉
