各种IP阶段的蜘蛛抓取规则是什么?
机呼科技 http://www.yqbing.com/[?]
220.181.68.*,此ip段为降权蜘蛛,如果此蜘蛛经常访问网站,那要注意了,有降权和k站风险了。
123.125.68.*,此ip段也为降权蜘蛛,通常由于网站作弊会引起它的关注,有降权和k站风险。
203.208.60.*,此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
121.14.89.*,此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
8
123.125.66.*和220.181.7.*,此ip段为预备抓取蜘蛛,这两个ip段表示蜘蛛要开始抓取网站、抓取页面了,不用过多关注。
2 人参与回答
我想问下是不是不同的模板的抓取日志,查看也是不同的
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭