<p><br></p><p></p><p><br></p><p>Disallow: /*/feed</p><p>这样就是禁止蜘蛛抓这些网址？</p><p></p>
有没有Robots禁止蜘蛛抓取，可以去百度站长里面robots哪里去提交验证
截图里的状态是请求成功的，你可以加上之后模拟抓取试试
200说明是正常访问的
1、有没有Robots禁止蜘蛛抓取，可以去百度站长里面robots哪里去提交验证； 2、查看下这个URL地址是否有被封禁成功。
让更多人参与回答
