检查日志发现百度蜘蛛抓取不少网站不存在的栏目和页面悬赏1元已结束

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

牛牛齿槽 · 不羁放纵爱自由！

权重蜘蛛-池出租等 1 人赞同该回答

一般是旧网站的链接数据在百度的抓取库里，尚未清除。你可以Robots屏蔽。

Answer 2

橄榄绿叶 · 行星减速机

权重蜘蛛-池出租等 1 人赞同该回答

完全看不懂

Answer 3

Kyle

权重蜘蛛-池出租等 1 人赞同该回答

如果有不想被抓取的页面，用Robots屏蔽提

Answer 4

ämliy · 酒店香薰机、扩香机、加香机、香薰精油补充液、藤条香薰工厂

权重蜘蛛-池出租等 1 人赞同该回答

看看数据库，清理一下

Answer 5

烟火 · 南极下载站

权重蜘蛛-池出租等 1 人赞同该回答

是不是隐藏的

Answer 6

施先生 · 资深的SEO/SEM工作者和管理者

权重蜘蛛-池出租等 1 人赞同该回答

残余吧

Answer 7

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、一直在抓dashujufengkong，网站有这个文件夹吗，如果没有直接屏蔽即可；

2、这种情况一直有，还是近期才出现；

3、这个404一直爬，但是没收录，一般不影响，没这个文件夹，可以直接Robots掉，不影响站点优化。

收录宝