10 人参与回答
抓取频率越高,对服务器要求越高,打个比方,在网上买了个最小的虚拟机,比如这个网站最多能同事运行10个进程,意思就是说,可以同时10个人访问,而网站比如高峰期有10个人同时访问,低峰的时候,是3个,这时候,只有在最高峰的时候,才会有冲突,导致抓取失败,或者说其他人不能访问,如果抓取是1,那这种起冲突的次数只有在高峰的时候会出现1次,其他的不会出现,但如果抓取频次是100的话,那这起冲突的次数就不仅仅是1了,运气不好的话 ,抓取失败的次数是100也是有可能出现的,而网站抓取失败次数和抓取视频频率都是会导致网站的负面影响的,所以这种不建议过度调高抓取次数,当然,如果你服务器很牛,还是建议高频抓取的,因为这会加快收录。因为频次高,在时段内更新就有被收录的可能,比低频的收录快上不少。
这个不一定,有的行业好做一点