搜外网>搜外问答>问答页面

robots访问没问题,但是蜘蛛日志百度蜘蛛爬取robots.txt显示404。 悬赏1元 已结束

robots访问没问题,但是蜘蛛日志百度蜘蛛爬取显示404。大佬们知道这是什么情况嘛?还会一直抓取一些错误的链接,应该如何处理好呢,小白求救哇

追加问题
    10 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
权重蜘蛛-池出租 等 1 人赞同该回答

1、域名/Robots.txt有东西吗?检索下;

2、百度站长里面有robots是否生效查看下;

3、要是位置放置错误,自然是404,是否在根目录下面;

4、抓取错误链接,都是那些错误链接,有无抓取必要,无必要disallow屏蔽掉即可。

watch
watch · wordpress建站 seo优化 + 54716零零45
权重蜘蛛-池出租 等 1 人赞同该回答

这个是百度的问题吧

LIVE意荐
LIVE意 · 文化人:爱阴湿毯
权重蜘蛛-池出租 等 1 人赞同该回答

站长平台去看一下啊

才聪学习网
才聪学习网 · 才聪学习网是考研、考证、找考试资料,考生的首选官网!微信:16698123608
权重蜘蛛-池出租 等 1 人赞同该回答

1、域名/Robots.txt有东西吗?检索下;

2、百度站长里面有robots是否生效查看下;

派大星~
派大星~ · 196G游戏网
权重蜘蛛-池出租 等 1 人赞同该回答

百度站长里面有Robots是否生效

八点半
八点半 · 阿鹏博客
权重蜘蛛-池出租 等 1 人赞同该回答

是不是域名之前的链接啊

崔家大院
崔家大院 · 网站诊断、建站、快速排名
权重蜘蛛-池出租 等 1 人赞同该回答

你自己看一下自己可以访问不你的域名加上Robots。txt看看自己可以访问不,不行的话重新建立一个例如我的你可以看下