2454 次浏览

用户135872

他还没有填写个人简介

2019-01-12 加入搜外
北京市 现居
14 回答
1 赞同
1275 浏览

条头爬虫一直抓取旧的、过期的内容,对新内容视而不见 站长平台 Site Sitemap 404

自从在头条站长平台上提交了网站后,条头爬虫一直抓取旧的、过期的、改版前的内容。我对改版前的内容返回了404或410,重新提交了sitemap,这些操作仍然无法阻止条头爬虫疯狂地、执着地只抓取旧的、过期的、改版前的内容。这个行为已经持续了一个……