<p></p>
1、Robots设置禁止，你屏蔽蜘蛛抓取，是去robots哪里去检测是否封禁蜘蛛爬行； 2、你查的是网页返回码，正常的页面返回码200没有问题。
用插件试一下
先检查Robots是不是写错了，这个爬虫遵不遵循robots规则，然后你这个状态返回码200是说明页面能够正常打开吧
让更多人参与回答
