进来看看别人的回答。
正常 你要先会判断是真假爬虫 很多都是假爬虫 路径都是一些错误的试验和采集路径
Robots是不是设置的有问题
这问题其实很复杂 你要看是不是别人针对爬虫进行了设置？
让更多人参与回答
