1 人参与回答
百度不抓取新链接或者疯狂重复抓取老链接可能是由于多种原因引起的。以下是一些建议,你可以尝试来解决这个问题:
Robots.txt 文件检查: 确保你的网站的 robots.txt 文件没有设置不允许爬虫访问新链接的规则。你可以通过访问 来查看和验证 robots.txt 文件。
文件检查: 确保你的网站的 文件包含了最新的链接,并且没有包含不希望被索引的链接。提交最新的 Sitemap 到百度站长工具。
服务器响应时间: 如果你的服务器响应时间过长,百度爬虫可能会放慢对你网站的抓取速度。确保你的服务器响应速度良好。
页面质量和内容更新: 百度更倾向于抓取更新频繁、内容质量好的网站。确保你的网站提供有价值的、更新频繁的内容。
检查是否被封禁: 使用百度站长工具查看你的网站是否被封禁。如果被封禁,你需要解决相关问题,并申请解封。
增加内链: 在网站内部增加一些内链,将新链接与老链接连接起来,这样爬虫更容易发现新链接。
百度站长工具: 登录百度站长工具,查看是否有相关的抓取报告或错误提示。站长工具提供了丰富的信息,有助于诊断抓取问题。
手动推送: 在百度站长工具中,你可以手动推送新链接。虽然这不是长期解决方案,但可以用来确保新链接被百度尽快发现。
如果你尝试了以上方法仍然没有解决问题,建议联系百度客服或百度站长社区,向他们报告具体问题并请求进一步的技术支持。