如题，带宽跑满的原因可能是蜘蛛抓取，或者被恶意采集？不知道怎么处理的呢。
下载地址是个二级域名，我能robos屏蔽蜘蛛？还是怎么搞呢？有没有做过高权重下载站的朋友请教一下！
下载站不太可能是真实蜘蛛。同样也做下载站的，蜘蛛主要抓取的还是页面，不会抓取文件。大概率是被人爬了，你看看你站长里的抓取按比例能对的上数么？并且可以使用抓取诊断看百度蜘蛛，他会爬么？
是不是被盗链了？
匿名用户
可以先屏蔽蜘蛛试试
1、蜘蛛抓取占带宽不明显的，除非集中大量的蜘蛛爬取才会明显占用带宽； 2、下载可以限制下载速度、IP限制多久下载一次等等； 3、向服务器商反馈处理。
建议去提交工单，问问啥问题咋解决，官方的回复参考下 是不是那个插件占用带宽，或者哪里出问题，但靠下载地址不至于这样，先去问问，看咋解决
1、不想分权和蜘蛛进一步抓取深入，Nofollow即可，如果想禁止蜘蛛抓取可封禁URL； 2、带宽总是跑满，看看是否是因为别的因素影响，可以去提交工单，让服务器官方去检测下，看是哪里带宽占据很大，是否真的ip访问，以及有何建议，服务商也会根据情况给出解决办法。
一般Robots可以屏蔽，如果是假蜘蛛那么需要根据IP段屏蔽了
可以屏蔽掉它，不让百度蜘蛛抓取
先屏蔽蜘蛛试试，反馈服务商问问客服
有问题服务商解决，
可能不是真蜘蛛，先把该频段IP屏蔽试试
让更多人参与回答
