服务器被头条爬虫爬宕机了
这两天网站的发展非常迅速,爬虫抓取得频率也非常快，头条一天爬取了30多万次，导致服务器凌晨的时候宕机了，百度的爬虫爬取时就出现了问题。那一次宕机发生之后,我们网站的百度抓取频次就急剧下降。从9999直接掉到了60，现在程序上已经优化了，想问下还有神马解决方法？
5 人参与回答
有点恶心
我最近头条蜘蛛也在爬，但是不多，一天2万8左右，上下一点每天，但是不收录光抓取。
看日志爬的什么？如果无效的太多屏蔽下
百度的爬虫爬取时就出现了问题？说明你网站太牛了。实在不行了，把服务器硬件升级吧。
