通过网站日志分析，没有看到有蜘蛛正常抓取到url
模拟抓取也不行。。。网站是可以正常访问的。。。
这样的情况，一般是什么导致的呢？
自己能访问，蜘蛛抓取不了，模拟抓取的返回码是什么，哪里报错，
检查下是不是把蜘蛛ip封禁了？
是不是屏蔽掉了
站个位，等大佬分享。。
让更多人参与回答
