搜外网>搜外问答>问答页面

检查日志发现百度蜘蛛抓取不少网站不存在的栏目和页面 悬赏1元 已结束

分析网站日志,发现有不少404状态码,发现是百度蜘蛛抓取了不少网站不存在的栏目和页面,很奇怪网站都不存在,怎么抓取的呢。

就是不少类似这种的,网站是老网站了,请大神分析下这是什么情况

追加问题
    10 人参与回答
牛牛齿槽
牛牛齿槽 · 不羁放纵爱自由!
权重蜘蛛-池出租 等 1 人赞同该回答

一般是旧网站的链接数据在百度的抓取库里,尚未清除。你可以Robots屏蔽。

橄榄绿叶
橄榄绿叶 · 行星减速机
权重蜘蛛-池出租 等 1 人赞同该回答

完全看不懂

权重蜘蛛-池出租 等 1 人赞同该回答

如果有不想被抓取的页面,用Robots屏蔽提

权重蜘蛛-池出租 等 1 人赞同该回答

看看数据库,清理一下

烟火 · 南极下载站
权重蜘蛛-池出租 等 1 人赞同该回答

是不是隐藏的

施先生
施先生 · 资深的SEO/SEM工作者和管理者
权重蜘蛛-池出租 等 1 人赞同该回答

残余吧 

推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo

1、一直在抓dashujufengkong,网站有这个文件夹吗,如果没有直接屏蔽即可;

2、这种情况一直有,还是近期才出现;

3、这个404一直爬,但是没收录,一般不影响,没这个文件夹,可以直接Robots掉,不影响站点优化。

SEO培训招生中
155