搜外网>搜外问答>问答页面

站点文件夹删除,但是为什么蜘蛛还是会抓取之前旧的文件夹记录 悬赏1元 已结束

我先讲下站点的情况,之前这个站点是用WordPress做的,后面3月份换程序,都4个月过后了,为什么从日志里面,看到蜘蛛抓取很多之前旧的图片文件夹,但是因为不存在,全部都是返回404。


现在就是有一个疑问,为什么服务器上面站点根目录下,这个图片文件夹都不存在了,为什么百度蜘蛛来网站还会抓取到之前的图片呢?这个应该不是百度蜘蛛缓存问题,日志上面蜘蛛爬的,是记录当天的站点爬行情况啊?百度蜘蛛爬行网站的一个机制到底是怎样的?


追加问题
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo

1、如果文件夹已删除,蜘蛛可能会有一段时间还是抓老的路径,但是返回码是404后,后期便不会抓取;

2、抓取图片,返回码404,这种不会影响网站的,不会出现抓取异常,这种搜索引擎也不会收录,无异常的,本身没了,返回码是404是正常的,不存在连续好久都一直抓取,真实蜘蛛收到返回码404,后期也就不抓取了。

铝单板生产基地
铝单板生产 · 铝单板 铝单板幕墙

做一下404 不用管他

会又一段时间缓存的

水处理
水处理 · 水处理设备厂家网站维护员、入行5年的seo小白

删除了你得提交404告诉一下搜索引擎,如果长时间没做的话,蜘蛛去你网站就会变少的。

在吗在
在吗在 · 寻水的

做死链提交,加反馈一下

小鱼
小鱼 · 苏州微信小程序,微商城,微信公众号,软件定制开发,拥有十几年的开发经验!

做一下死链提交,应该就不会抓取了

提交一下死链

提交死亡链接,就不会再抓取了

做一下死链提交,一般就不会抓取了

你要做一下死亡链接提交,做好了他就不会抓取了

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

我也有这种情况,做了404页面就慢慢等更新吧

这种对你网站没影响,返回码是404,也不会出现抓取异常,也不会收录,不用管,后期就好了。

你直接在Robots里写清楚啊

刚删除的话会有个缓冲的过程的,过几天再看看,只要rootxt文件设置好了就行

三九问答
三九问答 · 一个有问答就会有答案的网站

刚删除的话会有个缓冲的过程的,过几天再看看,只要rootxt文件设置好了就行

加载更多
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭

专栏文章

SEO培训招生中
159