12 人参与回答
两三百吗,这个没注意过
没标准吧速度
没标准吧
个人博客站点蜘蛛的正常访问频次为200~300次/天,为了使得结果的科学以及具有说服性,我还问过一些资深站长,他们反映蜘蛛对他们站点的抓取也是200~300次/天。
只有是符合这个值的网站才可以说是正常的,抓取频次太高有几种可能导致你的站点不正常,其一是:Robots.txt没做好,导致蜘蛛大量抓取一些内部和没用的页面,包括一些重复页面。其二是网站的过度优化,百度对网站的过度优化是很敏感的,它喜欢自然的东西,刻意优化会造成让它反感甚至有作弊嫌疑,当你的网站有作弊嫌疑的时候,蜘蛛大军就会大量造访你的网站,每一个蜘蛛的分工都不同,其目的就是在你的网站上找出充分的证据证明你是作弊的,它会把各种算法通过蜘蛛集中放到你的网站上去验证,能不能躲过此劫,就看你是不是真的作弊了。其三是网站结构的不合理性导致蜘蛛进入循环黑洞,爬取不顺畅。
这个还有标准的吗