百度蜘蛛每天就是来访问一下robots文件，不爬取网页
百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢
百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢
