搜外网>搜外问答>问答页面

条头爬虫一直抓取旧的、过期的内容,对新内容视而不见

自从在头条站长平台上提交了网站后,条头爬虫一直抓取旧的、过期的、改版前的内容。

我对改版前的内容返回了404或410,重新提交了sitemap,这些操作仍然无法阻止条头爬虫疯狂地、执着地只抓取旧的、过期的、改版前的内容。这个行为已经持续了一个月了。

实在不理解条头爬虫是什么原理?

同时更不理解的是Googlebot,也是天天只抓取旧内容,对新的内容视而不见,这究竟是怎么了?难道我的网站有什么问题吗?

有朋友也遇到此问题了吗?是怎么解决的? 谢谢大家

追加问题
    2 人参与回答