条头爬虫一直抓取旧的、过期的内容,对新内容视而不见
自从在头条站长平台上提交了网站后,条头爬虫一直抓取旧的、过期的、改版前的内容。
我对改版前的内容返回了404或410,重新提交了sitemap,这些操作仍然无法阻止条头爬虫疯狂地、执着地只抓取旧的、过期的、改版前的内容。这个行为已经持续了一个月了。
实在不理解条头爬虫是什么原理?
同时更不理解的是Googlebot,也是天天只抓取旧内容,对新的内容视而不见,这究竟是怎么了?难道我的网站有什么问题吗?
有朋友也遇到此问题了吗?是怎么解决的? 谢谢大家