死链目录放到robots里面了 为什么还有百度蜘蛛来爬
过来学习的，而且很认真的
Robots文件格式一般是放在根目录下面的吧？为什么在你们网站上没看到robots.txt这个文件呢。 或者就是你的Disallow设置有问题
模拟抓取看看，可能百度蜘蛛需要时间反应，等等看
让更多人参与回答
