robots访问没问题,但是蜘蛛日志百度蜘蛛爬取显示404。大佬们知道这是什么情况嘛?还会一直抓取一些错误的链接,应该如何处理好呢,小白求救哇
1、域名/Robots.txt有东西吗?检索下;
2、百度站长里面有robots是否生效查看下;
3、要是位置放置错误,自然是404,是否在根目录下面;
4、抓取错误链接,都是那些错误链接,有无抓取必要,无必要disallow屏蔽掉即可。
这个是百度的问题吧
站长平台去看一下啊
百度站长里面有Robots是否生效
是不是域名之前的链接啊
你自己看一下自己可以访问不你的域名加上Robots。txt看看自己可以访问不,不行的话重新建立一个例如我的你可以看下
让更多人参与回答