站点文件夹删除，但是为什么蜘蛛还是会抓取之前旧的文件夹记录 悬赏1元 已结束
<p>我先讲下站点的情况，之前这个站点是用WordPress做的，后面3月份换程序，都4个月过后了，为什么从日志里面，看到蜘蛛抓取很多之前旧的图片文件夹，但是因为不存在，全部都是返回404。<br></p><p><br></p><p>现在就是有一个疑问，为什么服务器上面站点根目录下，这个图片文件夹都不存在了，为什么百度蜘蛛来网站还会抓取到之前的图片呢？这个应该不是百度蜘蛛缓存问题，日志上面蜘蛛爬的，是记录当天的站点爬行情况啊？百度蜘蛛爬行网站的一个机制到底是怎样的？</p><p><br></p><p></p>
16 人参与回答
最佳回答
加载更多
会又一段时间缓存的
做死链提交，加反馈一下
做一下死链提交，应该就不会抓取了
提交一下死链
提交死亡链接，就不会再抓取了
做一下死链提交，一般就不会抓取了
你要做一下死亡链接提交，做好了他就不会抓取了
刚删除的话会有个缓冲的过程的，过几天再看看，只要rootxt文件设置好了就行
刚删除的话会有个缓冲的过程的，过几天再看看，只要rootxt文件设置好了就行
