百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢
因为百度的比较矫情
如果Robots设置还有服务器访问、DNS解析没有问题的话。那就是度娘的问题了。
让更多人参与回答
