怎么这个robots文件？
百度一下，很好写的
这个看你哪些页面不要蜘蛛抓取就可以禁止了
我做了一个空的文件，里面啥都没放
把不需要百度爬取的目录写上去
User-agent: *
Disallow: /
大神都是这么写的 你试试
百度有教程，最好还是看下
我刚写的 做个参考吧
不想让抓取哪个，就把哪个目录写进去，百度查示例
写一些禁止访问的目录就完事了
让更多人参与回答
