搜外网>搜外问答>问答页面

服务器里的一个文件夹删掉了,为什么蜘蛛还是抓取?





上面的两个文件夹已经没有了,为什么在网站日志里面还看到蜘蛛抓取?

这两个文件夹是之前老网站的。

之前老网站设计一般,所以新建了一个新的网站,域名还是用老网站的域名。

服务器上面的老网站文件已经删掉了。

所以不明白为什么还在抓取?
追加问题
    1 人参与回答
叶lift何大系 等 2 人赞同该回答

这很正常,即使现在是404,也会持续抓一段时间,直到一定的时间后还是404,就不会抓了。

试想一下,假设现在你一不小心删掉了一个重要栏目,正好蜘蛛这时抓了,返回的404。然后你发现误删,赶紧恢复了这个栏目。蜘蛛却因为上一次抓取是404,以后永远都不来抓取了。你觉得这样合适吗?

SEO培训招生中
155