robots 文件 140KB 是不是影响百度蜘蛛抓取 呢，
为了处理死链接，我提交后死链，发现死链百度处理了，为了不让蜘蛛继续爬虫死链接，我都加到了robots 文件，现在该文件大小为 140KB， 是不是影响百度蜘蛛抓取 呢，
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
为了处理死链接，我提交后死链，发现死链百度处理了，为了不让蜘蛛继续爬虫死链接，我都加到了robots 文件，现在该文件大小为 140KB， 是不是影响百度蜘蛛抓取 呢，
