搜外网>搜外问答>问答页面

百度baiduspider是否支持User-agent:Slurp

追加问题
    1 人参与回答

可以在Robots中的crawl-delay中设置,这个参数是baidu spider对网站访问频率的重要参考信息之一,但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力,因此并不保证严格遵守crawl-delay中的设置值。

SEO培训招生中
188