为什么百度资源平台抓取异常中的链接还有几年前的就网站的链接。现在新版网站已经没有这种链接了。这是怎么回事
可能是以前索引的内容,我的网站也经常会遇到。
百度搜索资源中心投诉反馈一下
这种是百度问题哦
可以使用百度站长平台提交网站的文件,百度爬虫会根据中的链接来爬取网页
百度资源平台可能抓取的是缓存页面,这些页面可能是几年前的版本,并且没有被更新。 百度爬虫爬取网页时会将网页保存在缓存中,如果网页没有更新,百度爬虫就不会再次爬取。 所以,百度资源平台上显示的链接可能是旧版本的链接。 解决办法: 可以在网站的Robots.txt文件中添加对应的不被爬取的页面 可以使用百度站长平台提交网站的文件,百度爬虫会根据中的链接来爬取网页 可以使用301重定向,将旧链接重定向到新链接 这些操作都能够帮助网站管理员解决百度缓存中存在旧链接的问题。
百度数据索引库有你之前网站的链接,只是百度刚排查发现到
让更多人参与回答