搜外网>搜外问答>问答页面

robots 文件 140KB 是不是影响百度蜘蛛抓取呢，

微信

为了处理死链接，我提交后死链，发现死链百度处理了，为了不让蜘蛛继续爬虫死链接，我都加到了robots 文件，现在该文件大小为 140KB，是不是影响百度蜘蛛抓取呢，

Robots 死链接百度蜘蛛

本帖由用户发布，如有侵权联系删除 2021-05-12 发布914 次浏览

举报

交换友情链接，就用搜外友链，方便！

1 人参与回答

用户195494

大了点，应该有不小的压缩空间，禁爬Robots有很多用法，最好学习下压缩下