检查日志发现百度蜘蛛抓取不少网站不存在的栏目和页面 悬赏1元 已结束

分析网站日志,发现有不少404状态码,发现是百度蜘蛛抓取了不少网站不存在的栏目和页面,很奇怪网站都不存在,怎么抓取的呢。

就是不少类似这种的,网站是老网站了,请大神分析下这是什么情况

追加问题
    10 人参与回答
牛牛齿槽
牛牛齿槽 · 不羁放纵爱自由!

一般是旧网站的链接数据在百度的抓取库里,尚未清除。你可以Robots屏蔽。

橄榄绿叶 · 行星减速机,交换权重相当同行业友链+QQ893910412记得备注→→→→→→→→→→→→→→→→→→→→→→→→→

完全看不懂

如果有不想被抓取的页面,用Robots屏蔽提

ä

看看数据库,清理一下

烟火 · 南极下载站

是不是隐藏的

推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划

1、一直在抓dashujufengkong,网站有这个文件夹吗,如果没有直接屏蔽即可;

2、这种情况一直有,还是近期才出现;

3、这个404一直爬,但是没收录,一般不影响,没这个文件夹,可以直接Robots掉,不影响站点优化。

1元
获得赏金
施先生
施先生 · 资深的SEO/SEM工作者和管理者

残余吧