6 人参与回答
百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径，通过蜘蛛的抓取可以得到一个页面的最主要的内容从而收录百度数据库系统，每次抓取之后都会再与数据库原有的信息进行比对，来确定页面的总体质量。
（博主注：最近明月的小博客竟然“攻击”不断，大部分是扫描和 SQL 注入类的，甚至造成前两天“主机资源耗尽”又被关停了，于是狠下心好好的分析了一下服务器日志，找出了不少可以 IP，直接给屏蔽掉了，没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP，无语了都，还好及时通过百度站长平台里的“抓取诊断”发现了，要不后果真是不敢设想呀！因为需要知道百度蜘蛛常见 IP，所以就搜索了一下相关的资料，获得了下文的 IP 整理，就当是一次记录吧，指不定啥时候就要用上了。）
那么，每当蜘蛛来抓取的时候都会被网站日志文件记录下来，具体包括抓取时间，抓取的页面以及蜘蛛来路 IP 地址，上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度，从侧面也反映出整个网站不同页面的权重值，通过自己一系列的分析，可以较为准确的评估整站的权重分布，对于 seo、文章内容价值、用户体验都起到很好的参考价值。
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
