搜外网>搜外问答>问答页面

robots 文件 140KB 是不是影响百度蜘蛛抓取 呢,

为了处理死链接,我提交后死链,发现死链百度处理了,为了不让蜘蛛继续爬虫死链接,我都加到了robots 文件,现在该文件大小为 140KB,  是不是影响百度蜘蛛抓取 呢,

追加问题
    1 人参与回答

大了点,应该有不小的压缩空间,禁爬Robots有很多用法,最好学习下 压缩下

SEO培训招生中
155