robots访问没问题，但是蜘蛛日志百度蜘蛛爬取显示404。大佬们知道这是什么情况嘛？还会一直抓取一些错误的链接，应该如何处理好呢，小白求救哇
1、域名/Robots.txt有东西吗？检索下；
2、百度站长里面有robots是否生效查看下；
3、要是位置放置错误，自然是404，是否在根目录下面；
4、抓取错误链接，都是那些错误链接，有无抓取必要，无必要disallow屏蔽掉即可。
这个是百度的问题吧
站长平台去看一下啊
百度站长里面有Robots是否生效
是不是域名之前的链接啊
你自己看一下自己可以访问不你的域名加上Robots。txt看看自己可以访问不，不行的话重新建立一个例如我的你可以看下
让更多人参与回答
